[논문 리뷰] Instance Similarity Deep Hashing for Multi-Label Image Retrieval.

Zheng Zhang, Qin Zou외 3명|arXiv (Cornell University)|2018. 03. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 17

한 줄 요약

이 논문은 다중 레이블 이미지 검색을 위한 새로운 딥 해싱 방법인 인스턴스 유사도 딥 해싱(ISDH)을 제안한다. 기존의 이진 쌍별 유사도 대신 공유 레이블 비율에 기반한 연속적이고 정규화된 인스턴스 유사도로 대체한다. 가중치가 부여된 교차 엔트로피 손실과 최소 제곱 오차 손실을 통합함으로써, 특징 학습과 해시 코드 최적화를 동시에 수행할 수 있으며, 세 가지 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Hash coding has been widely used in the approximate nearest neighbor search for large-scale image retrieval. Recently, many deep hashing methods have been proposed and shown largely improved performance over traditional feature-learning-based methods. Most of these methods examine the pairwise similarity on the semantic-level labels, where the pairwise similarity is generally defined in a hard-assignment way. That is, the pairwise similarity is '1' if they share no less than one class label and '0' if they do not share any. However, such similarity definition cannot reflect the similarity ranking for pairwise images that hold multiple labels. In this paper, a new deep hashing method is proposed for multi-label image retrieval by re-defining the pairwise similarity into an instance similarity, where the instance similarity is quantified into a percentage based on the normalized semantic labels. Based on the instance similarity, a weighted cross-entropy loss and a minimum mean square error loss are tailored for loss-function construction, and are efficiently used for simultaneous feature learning and hash coding. Experiments on three popular datasets demonstrate that, the proposed method outperforms the competing methods and achieves the state-of-the-art performance in multi-label image retrieval.

연구 동기 및 목표

• 공유 레이블을 1 또는 0으로 이진 처리하는 기존의 하드-어셈블리 쌍별 유사도의 한계를 해결하기 위해, 레이블 비율에 따라 정량화된 방식으로 처리함으로써 다중 레이블 이미지 검색의 정확도를 향상시키고자 한다.
• 레이블 겹침에 기반한 연속적이고 정규화된 인스턴스 유사도 측정법을 도입함으로써, 다중 레이블 이미지 간의 의미적 유사도 표현을 향상시키고자 한다.
• 인스턴스 유사도 기반 손실을 활용하여 특징 학습과 해시 코드 생성을 동시에 최적화하는 딥 해싱 프레임워크를 개발하고자 한다.
• 더 세밀한 유사도 모델링을 활용하여 대규모 다중 레이블 이미지 검색에서 최신 기술 수준의 성능을 달성하고자 한다.

제안 방법

• 논문은 쌍별 유사도를 인스턴스 유사도로 재정의하여, 두 이미지 간의 공유 레이블 비율을 정규화된 비율로 계산함으로써 0에서 1 사이의 연속적 값으로 표현한다.
• 학습 중 인스턴스 유사도의 상대적 순서를 유지하기 위해 가중치가 부여된 교차 엔트로피 손실을 설계한다.
• 학습된 해시 코드와 연속적 인스턴스 유사도 값 간의 차이를 최소화하기 위해 최소 제곱 오차(MSE) 손실을 도입한다.
• 결합된 손실 함수를 통해 딥 신경망의 엔드 투 엔드 학습이 가능해지며, 동시에 특징 추출과 이진 해시 코드 생성이 수행된다.
• 모델은 백프로파게이션을 사용하여 특징 추출기와 해시 함수를 동시에 최적화하기 위해 엔드 투 엔드로 훈련된다.
• 성능 검증을 위해 세 가지 표준 다중 레이블 이미지 검색 벤치마크에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 이진 쌍별 유사도를 연속적 인스턴스 유사도로 대체할 경우, 다중 레이블 이미지 검색 성능이 어떻게 향상되는가?
• RQ2 기존의 하드-어셈블리 방법과 비교해보았을 때, 연속적 유사도 측정법이 다중 레이블 이미지 간의 의미적 유사도 순서를 더 잘 포착할 수 있는가?
• RQ3 인스턴스 유사도 기반 손실을 활용한 특징 학습과 해시 코드 생성의 공동 최적화가 얼마나 효과적인가?
• RQ4 가중치가 부여된 교차 엔트로피 손실과 MSE 손실의 통합이, 기존의 표준 손실 함수에 비해 더 높은 검색 정확도를 제공하는가?

주요 결과

• 제안된 ISDH 방법은 세 가지 인기 있는 다중 레이블 이미지 검색 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 연속적 인스턴스 유사도의 사용은 다중 레이블을 가진 이미지 간의 의미 관계를 더 정확하게 모델링한다.
• 가중치가 부여된 교차 엔트로피 손실과 MSE 손실을 통한 공동 최적화로 특징 표현과 해시 코드 품질이 향상된다.
• 기존의 이진 쌍별 유사도에 의존하는 딥 해싱 방법에 비해 본 방법은 뛰어난 검색 정확도를 보여준다.