[논문 리뷰] SketchParse : Towards Rich Descriptions for Poorly Drawn Sketches using Multi-Task Hierarchical Deep Networks

Ravi Kiran Sarvadevabhatla, Isht Dwivedi외 3명|ePrints@IISc (Indian Institute of Science)|2017. 09. 05.

Multimodal Machine Learning Applications참고 문헌 50인용 수 8

한 줄 요약

SketchParse는 부분 레이블이 부여된 데이터셋에서 스케치화된 사진을 활용하여 수동 레이블링을 회피함으로써 자유형 스케치의 완전 자동 파싱을 위한 새로운 다중 작업 계층적 딥 네트워크를 제안한다. 이는 공유 특징 추출, 카테고리별 전문가, 동적 라우팅을 위한 라우터, 그리고 보조 작업으로서의 2D 자세 추정을 포함하며, 다양한 데이터셋과 알려지지 않은 카테고리에서 부분 분할, 자세 추정, 스케치 캡션화 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The ability to semantically interpret hand-drawn line sketches, although very challenging, can pave way for novel applications in multimedia. We propose SketchParse, the first deep-network architecture for fully automatic parsing of freehand object sketches. SketchParse is configured as a two-level fully convolutional network. The first level contains shared layers common to all object categories. The second level contains a number of expert sub-networks. Each expert specializes in parsing sketches from object categories which contain structurally similar parts. Effectively, the two-level configuration enables our architecture to scale up efficiently as additional categories are added. We introduce a router layer which (i) relays sketch features from shared layers to the correct expert (ii) eliminates the need to manually specify object category during inference. To bypass laborious part-level annotation, we sketchify photos from semantic object-part image datasets and use them for training. Our architecture also incorporates object pose prediction as a novel auxiliary task which boosts overall performance while providing supplementary information regarding the sketch. We demonstrate SketchParse's abilities (i) on two challenging large-scale sketch datasets (ii) in parsing unseen, semantically related object categories (iii) in improving fine-grained sketch-based image retrieval. As a novel application, we also outline how SketchParse's output can be used to generate caption-style descriptions for hand-drawn sketches.

연구 동기 및 목표

• 다양한 물체 카테고리에 걸쳐 세분화된 의미적 이해를 가능하게 하여 자유형 스케치의 완전 자동 파싱을 실현한다.
• 그림 기술 수준의 변동성이 크고 흐린, 저품질의 스케치에 대응하는 데 어려움을 해결한다.
• 기존의 부분 레이블이 부여된 사진 데이터셋에서 스케치화된 이미지를 활용함으로써, 고비용의 수동 부분 수준 스케치 레이블링이 필요 없도록 한다.
• 보조 작업으로 2D 자세 추정을 통합하여 스케치 이해 성능을 향상시킨다.
• 스케치 캡션화 및 세분화된 스케치 기반 이미지 검색과 같은 새로운 응용 분야를 가능하게 한다.

제안 방법

• 모델은 두 수준의 완전 컨볼루션 아키텍처를 사용한다: 모든 카테고리에 공통으로 사용하는 공유 레이어와 기하학적으로 유사한 슈퍼카테고리(예: 새와 비행기)에 대해 전용 서브넷을 갖는다.
• 라우터 네트워크는 예측된 슈퍼카테고리에 기반해 공유 레이어의 특징을 적절한 전문가로 동적으로 라우팅함으로써 추론 시 수동 카테고리 지정이 필요 없도록 한다.
• 학습 데이터는 기존의 의미적 부분 탐지 데이터셋에서 유도된 이미지의 스케치화된 표현을 통해 생성되며, 부분 수준의 레이블을 유지하면서 이미지를 스케치 유사 표현으로 변환한다.
• 네트워크는 부분 분할과 2D 자세 추정을 조합한 다중 작업 손실을 통해 엔드 투 엔드로 훈련되며, 일반화 및 성능 향상을 도모한다.
• 그래프 기반 재순서 정렬 방법은 스케치와 이미지 간의 부분 그래프 매칭을 통해 부분 수준의 파싱 및 자세 정보를 활용하여 스케치 기반 이미지 검색 성능을 향상시킨다.
• 스케치 설명은 카테고리 라우터, 부분 파서, 자세 네트워크의 출력을 활용한 템플릿 채우기 방식으로 생성된다.

실험 결과

연구 질문

• RQ1 공유 및 전문가 서브넷을 갖는 계층적 딥 네트워크가 다양한 물체 카테고리에 걸쳐 자유형 스케치를 효과적으로 파싱할 수 있는가?
• RQ2 부분 레이블이 부여된 사진 데이터셋에서 유도된 스케치화된 이미지가 수동으로 레이블링된 스케치 데이터셋의 대안으로 유용한가?
• RQ3 보조 작업으로 2D 자세 추정을 통합하면 스케치 부분 분할 성능이 향상되는가?
• RQ4 재학습 없이도 알려지지 않은 의미적으로 관련된 물체 카테고리로 일반화 가능한가?
• RQ5 파싱된 스케치 특징을 활용해 손으로 그린 스케치에 대해 풍부하고 기술적인 설명 문장을 생성할 수 있는가?

주요 결과

• SketchParse는 두 개의 대규모 스케치 데이터셋에서 최신 기술 수준의 성능을 달성하며, 다양한 물체 카테고리에 걸쳐 강력한 일반화 능력을 보였다.
• 부분 수준의 파싱 및 자세 정보를 그래프 매칭 기반 재순서 정렬 프레임워크에 통합함으로써 세분화된 스케치 기반 이미지 검색 성능을 크게 향상시켰다.
• 2D 자세 추정을 보조 작업으로 통합함으로써 부분 분할 정확도가 향상되었으며, 효과적인 다중 작업 학습의 가능성을 입증했다.
• 라우터 메커니즘이 추론 시 자동 카테고리 추론을 가능하게 하여 수동 카테고리 입력이 필요 없도록 했다.
• 파싱된 부분, 자세, 카테고리 정보를 활용해 세부적인 설명 형식의 스케치 설명을 성공적으로 생성했다.
• 새로운 의미적으로 관련된 카테고리로도 일반화가 잘 되었으며, 확장성과 내구성의 가능성을 입증했다.