[논문 리뷰] SketchMate: Deep Hashing for Million-Scale Human Sketch Retrieval

Peng Xu, Yongye Huang외 7명|arXiv (Cornell University)|2018. 04. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 16

한 줄 요약

SketchMate는 스케치의 순서를 모델링하고 추상화를 처리하기 위해 새로운 이중 브랜치 CNN-RNN 아키텍처와 스케치 전용 해싱 손실을 활용한 백만 규모 인간 스케치 검색을 위한 딥 해싱 프레임워크를 제안한다. 이는 검색, 제로샷 일반화, 스케치 인식에서 최신 기술을 초월하는 성능을 달성하며, 380만 개의 스케치 데이터셋에서 검증되었다.

ABSTRACT

We propose a deep hashing framework for sketch retrieval that, for the first time, works on a multi-million scale human sketch dataset. Leveraging on this large dataset, we explore a few sketch-specific traits that were otherwise under-studied in prior literature. Instead of following the conventional sketch recognition task, we introduce the novel problem of sketch hashing retrieval which is not only more challenging, but also offers a better testbed for large-scale sketch analysis, since: (i) more fine-grained sketch feature learning is required to accommodate the large variations in style and abstraction, and (ii) a compact binary code needs to be learned at the same time to enable efficient retrieval. Key to our network design is the embedding of unique characteristics of human sketch, where (i) a two-branch CNN-RNN architecture is adapted to explore the temporal ordering of strokes, and (ii) a novel hashing loss is specifically designed to accommodate both the temporal and abstract traits of sketches. By working with a 3.8M sketch dataset, we show that state-of-the-art hashing models specifically engineered for static images fail to perform well on temporal sketch data. Our network on the other hand not only offers the best retrieval performance on various code sizes, but also yields the best generalization performance under a zero-shot setting and when re-purposed for sketch recognition. Such superior performances effectively demonstrate the benefit of our sketch-specific design.

연구 동기 및 목표

• 스케치 검색 연구 분야에서 대규모이고 다양한 인간 스케치 데이터셋이 부족한 문제를 해결하기 위해.
• 세부 특징 학습과 압축된 이진 코드를 모두 요구하는, 스케치 인식보다 더 도전적인 새로운 벤치마크인 스케치 해싱 검색(SHR)을 제안하기 위해.
• 이중 브랜치 CNN-RNN 아키텍처를 통해 스케치의 순차적이고 동적인 특성을 스케치의 선 순서를 활용해 모델링하기 위해.
• 해밍 공간에서 압축되고 특징적인 클러스터를 강화하는 스케치 전용 해싱 손실을 설계하여 높은 추상화 수준을 수용하기 위해.
• 제안된 프레임워크가 스케치 인식 및 제로샷 검색으로의 일반화 성능을 검증하기 위해.

제안 방법

• 대규모 분석을 가능하게 하기 위해 Google QuickDraw 데이터셋에서 샘플링하여 380만 개의 인간 스케치 데이터셋인 QuickDraw-3.8M를 구축한다.
• 이중 브랜치 CNN-RNN 아키텍처를 활용: 하나의 브랜치는 정적 특징으로 원본 스케치 이미지를 처리하고, 다른 하나는 순차적 픽셀맵을 RNN으로 처리하여 스케치의 선 순서를 모델링한다.
• 해밍 공간에서 내부 클래스의 압축성과 외부 클래스의 분리도를 향상시키기 위해 대조 손실, 중심 손실(SCL), 양자화 손실을 조합한 새로운 스케치 전용 해싱 손실을 도입한다.
• CNN 및 RNN 특징을 융합하기 위해 공동 임베딩 레이어를 사용하고, 미분 가능한 이진화 함수를 통해 이진 해시 코드로 투영한다.
• 다중 구성 요소 손실을 사용하여 엔드 투 엔드 네트워크를 최적화한다: $\mathcal{L} = \mathcal{L}_{\text{contrastive}} + \mathcal{L}_{\text{SCL}} + \mathcal{L}_{\text{quantization}}$.
• 다양한 코드 길이(16–64비트), 제로샷 설정, 그리고 후속 스케치 인식 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 해싱 프레임워크는 시간적 선 순서를 유지하면서 백만 규모의 인간 스케치 검색에 효과적으로 확장될 수 있는가?
• RQ2 RNN을 통해 스케치의 선 순서를 모델링하는 것이 정적 CNN에 비해 스케치 검색을 위한 특징 표현을 어떻게 향상시키는가?
• RQ3 추상화와 클러스터링을 고려한 스케치 전용 해싱 손실이 대규모 스케치 데이터에서 표준 해싱 손실보다 우수한 성능을 내는가?
• RQ4 제안된 모델은 제로샷 스케치 검색 및 스케치 인식 작업으로 일반화될 수 있는가?
• RQ5 검색 및 인식 벤치마크에서 최신 기술 방법과 비교해 모델의 성능은 어떻게 되는가?

주요 결과

• 제안된 SketchMate 모델은 제로샷 스케치 해싱 검색에서 평균 정확도(MAP) 0.7547을 달성하여 DLBHC(0.7094)와 DSH-Sketch(0.5334)를 크게 앞서며 성능을 뛰어넘었다.
• 64비트 해시 코드를 사용할 경우, SketchMate는 스케치 인식에서 정밀도 0.8051을 기록하여 Sketch-a-Net(0.6871)과 ResNet-50(0.7864)를 초월했다.
• 스케치 전용 중심 손실(SCL)을 추가함으로써 표준 중심 손실 대비 성능이 1.02% 향상되었으며, 이는 표준 중심 손실이 성능을 저하시키는 것을 고려할 때 스케치 인식 설계의 필요성을 입증한다.
• 380만 개의 스케치 갤러리에서 실시간 검색을 구현하였으며, 쿼리 시간은 0.1초 이하, 메모리 사용량은 단지 12.5MB에 불과했다.
• 정성적 결과 분석에서 의미 오류가 줄어들고 더 자연스러운 오진 예측이 발생하여, 더 나은 특징 분리 및 강건성을 보여주었다.
• 시간적 모델링을 통한 이중 브랜치 CNN-RNN 아키텍처는 스케치 인식에서 79.49%의 정확도를 기록하여 단일 브랜치 RNN(77.88%) 및 CNN(73.76%) 버전을 모두 압도했다.