[논문 리뷰] Deep Saliency Hashing

Sheng Jin, Yao, Hongxun외 4명|arXiv (Cornell University)|2018. 07. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 10인용 수 9

한 줄 요약

이 논문은 주어진 이미지의 분류 가능한 영역을 자동으로 강조하면서 의미 보존 이진 코드를 공동 최적화를 통해 학습하는 새로운 지도형 딥 해싱 방법인 Deep Saliency Hashing (DSaH)를 제안한다. DSaH는 세밀한 이미지 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, Stanford Dogs-120 및 CUB Bird에서 가장 강력한 경쟁자(DTQ)보다 약 10% 높은 성능을 기록한다.

ABSTRACT

In recent years, hashing methods have been proved to be effective and efficient for the large-scale Web media search. However, the existing general hashing methods have limited discriminative power for describing fine-grained objects that share similar overall appearance but have subtle difference. To solve this problem, we for the first time introduce the attention mechanism to the learning of fine-grained hashing codes. Specifically, we propose a novel deep hashing model, named deep saliency hashing (DSaH), which automatically mines salient regions and learns semantic-preserving hashing codes simultaneously. DSaH is a two-step end-to-end model consisting of an attention network and a hashing network. Our loss function contains three basic components, including the semantic loss, the saliency loss, and the quantization loss. As the core of DSaH, the saliency loss guides the attention network to mine discriminative regions from pairs of images. We conduct extensive experiments on both fine-grained and general retrieval datasets for performance evaluation. Experimental results on fine-grained datasets, including Oxford Flowers-17, Stanford Dogs-120, and CUB Bird demonstrate that our DSaH performs the best for fine-grained retrieval task and beats the strongest competitor (DTQ) by approximately 10% on both Stanford Dogs-120 and CUB Bird. DSaH is also comparable to several state-of-the-art hashing methods on general datasets, including CIFAR-10 and NUS-WIDE.

연구 동기 및 목표

• 전반적인 외관은 유사하지만 미세한 차이가 있는 세밀한 물체를 구분하는 데 도전하는 문제를 해결한다.
• 많은 카테고리와 낮은 데이터량이 특징인 세밀한 이미지 데이터셋에서 해싱 코드의 분류 능력을 향상시킨다.
• 수동 레이블링 없이도 주목력 메커니즘을 딥 해싱에 통합하여 분류 가능한 부분을 자동으로 국소화한다.
• 주목력 탐지와 의미 보존 해싱을 공동 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.

제안 방법

• 주목력 맵 생성을 위한 주목력 네트워크와 이진 코드 학습을 위한 해싱 네트워크를 갖춘 이중 스트림 엔드 투 엔드 딥 러닝 프레임워크를 제안한다.
• 클래스에 종속되지 않는 주목력 맵을 생성하기 위해 주목력 모듈로 전결합 신경망을 사용한다.
• 의미 손실(쌍별 레이블 일致성 위한), 주목력 손실(이미지 4개 조합을 통해 분류 가능한 영역 강조), 양자화 손실(최적의 이진 코드 학습)을 조합한 다중 구성 요소 손실 함수를 설계한다.
• 역전파를 사용해 주목력 네트워크와 해싱 네트워크를 번갈아가며 훈련함으로써 주목력 탐지와 해싱 코드 생성을 공동 최적화한다.
• 깊이 특징을 추출하고 압축된 이진 코드를 생성하기 위해 해싱 네트워크의 백본으로 VGG-16을 사용한다.
• 연속적인 특징 맵과 이산적인 이진 코드 사이의 격차를 메우기 위해 소프트에서 하드로의 양자화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 주목력 메커니즘은 세밀한 이미지 검색에서 해싱 코드의 분류 능력을 향상시키는가?
• RQ2 주목력 기반 영역 탐사가 세밀한 이미지 데이터셋에서 딥 해싱 모델의 성능에 어떤 영향을 미치는가?
• RQ3 주목력과 해싱의 공동 학습을 위한 최적의 손실 구성 요소 조합(의미, 주목력, 양자화)은 무엇인가?
• RQ4 제안된 방법은 CIFAR-10 및 NUS-WIDE와 같은 일반적인 검색 데이터셋으로 일반화되는가?
• RQ5 주목력 네트워크는 객체 자세 변화, 부분 가림, 배경 복잡성 등의 변동에 대해 얼마나 강건한가?

주요 결과

• 48비트 코드를 사용할 때 DSaH는 Stanford Dogs-120에서 mAP 0.6452를 달성하여 가장 강력한 경쟁자인 DTQ보다 약 10% 높은 성능을 기록한다.
• CUB Bird에서 DSaH는 48비트 코드를 사용해 mAP 0.6355를 기록하며, DTQ 및 기타 최신 기술 수준의 방법들을 크게 앞서간다.
• 주목력 손실은 의미 손실만 사용하는 것보다 주목력 네트워크 훈련에 더 효과적이며, 분류 가능한 영역의 국소화를 직접적으로 안내한다.
• 주목력 네트워크가 의미 손실과 주목력 손실을 모두 사용할 때 가장 높은 성능를 달성하며, 해싱 네트워크는 원본 이미지 코드의 열화를 방지하기 위해 의미 손실만 사용할 때 최적의 성능를 기록한다.
• 주목력 네트워크는 다양한 조건(가림, 복잡한 배경, 다양한 객체 크기 및 자세)에서도 개의 머리 부분을 일관되게 강조한다.
• 모델은 빠르게 수렴하며, 주목력 네트워크와 해싱 네트워크 모두 몇 에포크 내에 안정화되어 효율적인 훈련 동역학을 보여준다.