[논문 리뷰] Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval

Aneeshan Sain, Ayan Kumar Bhunia외 3명|arXiv (Cornell University)|2020. 07. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 58인용 수 22

한 줄 요약

이 논문은 자유형 스케치의 미세 구조적 특성에서 은닉된 스케치 계층을 엔드 투 엔드로 학습 가능한 Gumbel-Softmax 근사화된 노드 병합을 통해 탐지하는 크로스모달 계층적 모델링 프레임워크를 제안한다. 각 수준에서 크로스모달 공액주목과 계층적 융합을 통합함으로써, 상태기반 기법들보다 뚜렷이 뛰어난 성능을 보이는 다단계의 구분력 있는 임베딩을 학습한다. 표준 벤치마크에서 QMUL-ChairV2에서 62.45%의 정확도@1과 SWIRE에서 67.23%의 정확도를 기록한다.

ABSTRACT

Sketch as an image search query is an ideal alternative to text in capturing the fine-grained visual details. Prior successes on fine-grained sketch-based image retrieval (FG-SBIR) have demonstrated the importance of tackling the unique traits of sketches as opposed to photos, e.g., temporal vs. static, strokes vs. pixels, and abstract vs. pixel-perfect. In this paper, we study a further trait of sketches that has been overlooked to date, that is, they are hierarchical in terms of the levels of detail -- a person typically sketches up to various extents of detail to depict an object. This hierarchical structure is often visually distinct. In this paper, we design a novel network that is capable of cultivating sketch-specific hierarchies and exploiting them to match sketch with photo at corresponding hierarchical levels. In particular, features from a sketch and a photo are enriched using cross-modal co-attention, coupled with hierarchical node fusion at every level to form a better embedding space to conduct retrieval. Experiments on common benchmarks show our method to outperform state-of-the-arts by a significant margin.

연구 동기 및 목표

• 자연스럽게 스케치의 세부 수준이 굵기에서 미세함으로 변화하는 미세 구조적 스케치 기반 이미지 검색(FG-SBIR)에서의 미처 탐색되지 않은 계층적 성격을 다루기 위해.
• 양 모odal(스케치 및 사진)에서 계층적 의미적 구조를 명시적으로 모델링하여 스케치-사진 도메인 갭을 줄이기 위해.
• 각 수준에서 크로스모달 공액주목과 계층적 융합을 통해 크로스모달 임베딩 품질을 향상시키기 위해.
• 부분적 또는 완전하지 않은 스케치에도 불구하고 강건한 검색을 가능하게 하기 위해, 스케치의 세부 수준에 적응하는 계층을 학습하기 위해.
• 사전 정의된 구조가 필요 없이 스케치에 특화된 계층을 탐지할 수 있는 새로운 엔드 투 엔드로 학습 가능한 프레임워크를 구축하기 위해.

제안 방법

• 노드(특징)를 반복적으로 병합하여 고수준 표현을 형성하는 누적 병합 방식을 사용하여 스케치 계층을 암묵적으로 탐지한다.
• 비미분 가능한 노드 선택 과정을 통해 역전파를 가능하게 하기 위해, 직선적 Gumbel-Softmax 연산을 적용한다.
• 각 계층 수준에서 스케치와 사진 특징 간 상호 주목을 가능하게 하는 크로스모달 공액주목 모듈을 도입한다.
• 양 모달에서 공액주목된 특징을 적응적으로 융합하기 위해 게이팅 메커니즘을 활용하여 부적합하거나 노이즈가 많은 부분을 걸러낸다.
• 모든 수준에서 계층적 노드 융합을 수행하여 정제된 특징을 수준 간으로 전파하여 최종 임베딩을 형성한다.
• 공유된 임베딩 공간에서 거리 기반 순위 매기기를 통해 검색을 수행하며, 스칼라 유사도 예측보다 우수한 성능을 보임을 검증한다.

실험 결과

연구 질문

• RQ1 암묵적이고 엔드 투 엔드로 학습 가능한 스케치 계층이 미세 구조적 스케치 기반 이미지 검색에서 성능 향상에 기여하는가?
• RQ2 다양한 계층 수준에서 크로스모달 공액주목이 스케치와 사진 간 특징 정렬을 어떻게 향상시키는가?
• RQ3 공액주목과 함께 계층적 융합은 스케치의 세부 수준이 다양할 경우(예: 완전하지 않은 스케치) 더 강건한 검색을 이끌어내는가?
• RQ4 명시적 계층 모델링 또는 비계층 기반 베이스라인 대비 정확도와 강건성 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ5 사진 브랜치에서 공액주목을 위한 최적의 영역 수(k)는 얼마이며, 이는 정확도와 추론 시간에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 QMUL-ChairV2에서 62.45%의 정확도@1과 SWIRE에서 67.23%의 정확도를 기록하여 최신 기술을 크게 앞서는 성능을 보였다.
• 크로스모달 공액주목 제거(w/o Localised-Coattn) 시 QMUL-ChairV2에서 10.6% 감소, QMUL-ShoeV2에서 4.45% 감소하여 그 핵심적 역할을 입증하였다.
• 계층 모델링 제거(w/o Hierarchy) 시 QMUL-ChairV2에서 7.21% 감소, QMUL-ShoeV2에서 3.06% 감소하여 계층의 중요성을 입증하였다.
• 부분적인 스케치에서도 강건성을 유지한다: 50%의 스토크가 제거된 경우 QMUL-ChairV2에서 acc.@10이 87.58%로 유지되고, QMUL-ShoeV2에서 85.64%로 유지된다.
• 명시적 계층 모델링(71.54% on SWIRE)은 상한선으로 기능하며, 암묵적 계층 탐지 모듈이 이 상한선 성능의 94.5%를 달성함을 보여주었다.
• 공액주목을 위한 최적의 영역 수(k)는 16이며, 이는 정확도와 추론 시간의 균형을 맞추는 데 적합하다. k를 증가시킬수록 시간 비용이 증가하지만, k를 감소시킬 경우 정확도에 악영향을 미친다.