[논문 리뷰] Learning Large Euclidean Margin for Sketch-based Image Retrieval.

Peng Lu, Gao Huang외 3명|arXiv (Cornell University)|2018. 12. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 53인용 수 19

한 줄 요약

이 논문은 스케치 기반 이미지 검색(SBIR)에서 내부 클래스 간 거리의 최소화와 외부 클래스 간 거리의 최대화를 동시에 수행하는 새로운 손실 함수인 유클리드 마진 소프트맥스(EMS)를 제안한다. 이로 인해 고도로 구별 가능한 특징 학습이 가능해진다. 스케치/사진 식별자를 활용하는 조건부 스위즈-익스카이테이션(CSE) 모듈과 EMS를 통합함으로써, 두 가지 주요 SBIR 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 이는 이전 방법들보다 뚜렷하게 뛰어나다.

ABSTRACT

This paper addresses the problem of Sketch-Based Image Retrieval (SBIR), for which bridge the gap between the data representations of sketch images and photo images is considered as the key. Previous works mostly focus on learning a feature space to minimize intra-class distances for both sketches and photos. In contrast, we propose a novel loss function, named Euclidean Margin Softmax (EMS), that not only minimizes intra-class distances but also maximizes inter-class distances simultaneously. It enables us to learn a feature space with high discriminability, leading to highly accurate retrieval. In addition, this loss function is applied to a conditional network architecture, which could incorporate the prior knowledge of whether a sample is a sketch or a photo. We show that the conditional information can be conveniently incorporated to the recently proposed Squeeze and Excitation (SE) module, lead to a conditional SE (CSE) module. Extensive experiments are conducted on two widely used SBIR benchmark datasets. Our approach, although being very simple, achieved new state-of-the-art on both datasets, surpassing existing methods by a large margin.

연구 동기 및 목표

• 스케치 기반 이미지 검색(SBIR)에서 스케치와 사진 이미지 표현 간의 도메인 갭을 해소하는 데 목적이 있다.
• 내부 클래스 간 거리의 최소화와 외부 클래스 간 거리의 최대화를 공동으로 최적화함으로써 특징 공간의 구별 가능성을 향상시키는 데 목적이 있다.
• 스케치 또는 사진과 같은 조건부 정보를 딥 특징 학습에 통합하여 더 나은 표현 학습을 이루는 데 목적이 있다.
• 표준 SBIR 벤치마크에서 최신 기술 수준의 성능을 달성하는 단순하면서도 효과적인 방법을 개발하는 데 목적이 있다.

제안 방법

• 특징 공간에서 내부 클래스의 응집성과 외부 클래스의 분리도를 동시에 최적화하는 새로운 손실 함수인 유클리드 마진 소프트맥스(EMS)를 제안한다.
• 동일한 클래스 내 거리를 최소화하고 서로 다른 클래스 간 간격을 명시적으로 최대화할 수 있도록 EMS를 설계한다.
• 스케치/사진 식별자를 사전 지식으로 사용하여 특징 맵을 재조정하는 조건부 스위즈-익스카이테이션(CSE) 모듈으로 SE 모듈을 변형한다.
• 딥 신경망 내부에 CSE 모듈을 적용하여 입력 모odal에 따라 관련 특징에 주목함으로써 표현 학습을 향상시킨다.
• EMS 손실 함수를 CSE로 강화된 네트워크 아키텍처와 통합하여 엔드 투 엔드 학습을 수행한다.
• 제안된 방법의 효과성을 검증하기 위해 두 가지 공개 SBIR 데이터셋에서 표준 딥 러닝 학습 프로토콜을 적용한다.

실험 결과

연구 질문

• RQ1 내부 클래스 응집성과 외부 클래스 분리도를 동시에 최적화하는 통합된 손실 함수가 스케치 기반 이미지 검색 성능을 향상시킬 수 있는가?
• RQ2 조건부 정보(스케치 또는 사진)를 통합함으로써 SBIR에서 특징 표현은 어떻게 영향을 받는가?
• RQ3 수정된 스위즈-익스카이테이션 모듈(CSE)이 모odal 전용 사전 지식을 효과적으로 활용하여 검색 정확도를 향상시킬 수 있는가?
• RQ4 조건부 모델링을 통한 제안된 EMS 손실 함수가 표준 SBIR 벤치마크에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 제안된 EMS 손실 함수는 내부 클래스 간 거리의 최소화와 외부 클래스 간 거리의 최대화를 공동으로 최적화함으로써 특징 공간의 구별 가능성을 크게 향상시킨다.
• CSE 모듈을 통한 조건부 정보 통합은 더 견고하고 모달리티에 민감한 특징 표현을 이끌어낸다.
• 이 방법은 CU-Bing 및 Sketchy-Images 데이터셋 양쪽 모두에서 기존 방법들보다 크게 뛰어난 새로운 최신 기술 수준의 성능을 달성하였다.
• EMS와 조건부 네트워크를 조합한 제안된 방법의 단순성은 복잡한 아키텍처 수정 없이도 뛰어난 성능을 낼 수 있게 한다.