[논문 리뷰] Simultaneous Region Localization and Hash Coding for Fine-grained Image Retrieval

Haien Zeng, Hanjiang Lai외 1명|arXiv (Cornell University)|2019. 11. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 6

한 줄 요약

이 논문은 피드백 루프를 통해 분류 가능한 영역 국소화와 이진 해시 코드 생성을 공동 최적화하는 새로운 딥러닝 프레임워크를 제안한다. 다중 척도 특징을 사용하여 바운딩 박스 애너테이션 없이 두 모듈을 동시에 훈련시킴으로써, CUB-200-2011 및 Stanford Dogs 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. Stanford Dogs에서 64비트 코드로 MAP는 0.7401이며, Oxford Flowers-17에서 16비트 코드로 MAP는 0.9802이다.

ABSTRACT

Fine-grained image hashing is a challenging problem due to the difficulties of discriminative region localization and hash code generation. Most existing deep hashing approaches solve the two tasks independently. While these two tasks are correlated and can reinforce each other. In this paper, we propose a deep fine-grained hashing to simultaneously localize the discriminative regions and generate the efficient binary codes. The proposed approach consists of a region localization module and a hash coding module. The region localization module aims to provide informative regions to the hash coding module. The hash coding module aims to generate effective binary codes and give feedback for learning better localizer. Moreover, to better capture subtle differences, multi-scale regions at different layers are learned without the need of bounding-box/part annotations. Extensive experiments are conducted on two public benchmark fine-grained datasets. The results demonstrate significant improvements in the performance of our method relative to other fine-grained hashing algorithms.

연구 동기 및 목표

• 유사한 카테고리 간 미세한 시각적 차이를 요구하는 세분화된 이미지 검색 문제에 대응하여 정밀한 국소화와 인코딩을 수행한다.
• 기존 방법이 영역 국소화와 해시 코드 생성을 별개의 작업으로 간주하여 최적 성능을 내지 못하는 한계를 극복한다.
• 비용이 많이 드는 바운딩 박스 또는 부분 애너테이션을 제거하기 위해 약한 지도 학습 방식으로 분류 가능한 영역을 학습한다.
• 피드백 메커니즘을 통해 영역 국소화 모듈과 해시 코드 생성 모듈 간 상호 지도 학습을 가능하게 하여 검색 정확도를 향상시킨다.
• 지표 부분 애너테이션 없이도 특징 맵 레이어를 통해 다중 척도 분류 가능한 영역을 효과적으로 학습할 수 있도록 한다.

제안 방법

• 영역 국소화 모듈과 해시 코드 생성 모듈로 구성된 이중 모듈 아키텍처를 도입하며, 엔드 투 엔드로 공동 최적화 프레임워크에서 훈련한다.
• 해시 코드 생성 모듈의 성능(예: 검색 정확도)을 피드백으로 활용하여 영역 국소화 모듈을 개선함으로써 강화 학습 루프를 구축한다.
• 여러 합성곱 레이어의 특징 맵을 활용하여 바운딩 박스 또는 부분 애너테이션 없이 다중 척도 분류 가능한 영역을 학습한다.
• 해시 코드 생성 모듈 내부에 랭커 및 비교 네트워크를 도입하여 이미지 및 영역 표현을 비교하고 유사도를 유지하는 이진 코드를 생성한다.
• 공동 훈련 중에 양성 쌍(유사한 이미지/영역)을 정렬하고 부정 쌍을 분리하기 위해 대비 손실(contrastive loss)을 적용한다.
• 해시 손실의 기울기를 사용하여 역전파를 통해 감독 신호를 영역 국소화 모듈로 전달함으로써, 시간이 지남에 따라 더 분류 가능한 영역을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 영역 국소화와 해시 코드 생성을 공동 최적화하는 것이 순차적 또는 별개의 훈련 방식보다 세분화된 이미지 검색 성능을 향상시키는가?
• RQ2 지표 없이도 해시 코드 생성 성능이 영역 국소화를 이끄는 피드백 기반 훈련 전략이 얼마나 효과적인가?
• RQ3 다양한 네트워크 레이어에서 유도된 다중 척도 특징 맵이 세분화된 분류 가능한 부분의 국소화에 얼마나 기여하는가?
• RQ4 바운딩 박스 또는 부분 애너테이션의 필요성을 제거하면 성능이 저하되는가, 그리고 여전히 최고 수준의 성능을 달성할 수 있는가?
• RQ5 다양한 비트 길이에서 기존의 세분화된 해싱 기반 모델인 DSaH 및 FPH와 비교해 볼 때, 제안된 방법의 검색 정확도는 어떠한가?

주요 결과

• CUB-200-2011 데이터셋에서 제안된 방법은 32비트 코드 길이에서 평균 평균 정밀도(MAP) 0.6922를 달성하여 FPH(0.5832) 및 DSaH(0.5283)를 크게 앞서며 성능을 뛰어넘었다.
• Stanford Dogs 데이터셋에서 64비트 코드 길이에서 MAP는 0.7401을 기록하여 FPH(0.6974) 및 DSaH(0.6452)를 초월하며 세분화된 검색에서 뛰어난 성능을 입증했다.
• Oxford Flowers-17 데이터셋에서 16비트 코드 길이에서 MAP는 0.9802를 달성하여 FPH(0.9542) 및 DSaH(0.9225)를 능가하며, 다양한 데이터셋에 대한 강력한 일반화 능력을 보였다.
• CUB-200-2011 및 Stanford Dogs 양쪽 데이터셋에서 16비트에서 64비트까지의 모든 비트 길이에서 최고의 MAP를 기록하여 기준 모델 대비 일관된 우수성을 입증했다.
• 제거 실험 결과, 해시 코드 생성에서의 피드백을 통한 공동 훈련이 별도 훈련에 비해 영역 품질과 검색 정확도를 크게 향상시킨다는 점이 확인되었다.