[논문 리뷰] Query-adaptive Image Retrieval by Deep Weighted Hashing

Jian Zhang, Yuxin Peng|arXiv (Cornell University)|2016. 12. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 질의에 적응하는 딥 가중 히싱(QaDWH)을 제안한다. 이는 가중 히빙 거리 기반으로 세밀한 이미지 검색을 가능하게 하기 위해 클래스별 해시 비트 가중치를 학습하고, 질의에 따라 동적으로 가중치를 생성하는 새로운 딥 히싱 방법이다. 이 방법은 네 가지 벤치마크 데이터셋에서 여덟 개의 최신 기법보다 뛰어난 성능을 보이며, 추론 시간의 약간의 증가로도 검색 정확도를 향상시킨다.

ABSTRACT

Hashing methods have attracted much attention for large scale image retrieval. Some deep hashing methods have achieved promising results by taking advantage of the strong representation power of deep networks recently. However, existing deep hashing methods treat all hash bits equally. On one hand, a large number of images share the same distance to a query image due to the discrete Hamming distance, which raises a critical issue of image retrieval where fine-grained rankings are very important. On the other hand, different hash bits actually contribute to the image retrieval differently, and treating them equally greatly affects the retrieval accuracy of image. To address the above two problems, we propose the query-adaptive deep weighted hashing (QaDWH) approach, which can perform fine-grained ranking for different queries by weighted Hamming distance. First, a novel deep hashing network is proposed to learn the hash codes and corresponding class-wise weights jointly, so that the learned weights can reflect the importance of different hash bits for different image classes. Second, a query-adaptive image retrieval method is proposed, which rapidly generates hash bit weights for different query images by fusing its semantic probability and the learned class-wise weights. Fine-grained image retrieval is then performed by the weighted Hamming distance, which can provide more accurate ranking than the traditional Hamming distance. Experiments on four widely used datasets show that the proposed approach outperforms eight state-of-the-art hashing methods.

연구 동기 및 목표

• 모든 해시 비트를 동일하게 취급하는 전통적 히싱 기법의 한계를 해결하기 위해, 이는 이산적인 히빙 거리로 인해 순위 정밀도가 떨어지기 때문이다.
• 다른 이미지 카테고리에 대해 서로 다른 비트의 의미적 중요도를 반영하는 클래스별 해시 비트 가중치를 학습하여 이미지 검색 정확도를 향상시키기 위해 노력한다.
• 질의 의미와 학습된 클래스별 가중치를 바탕으로 동적으로 질의에 적응하는 가중치를 생성하여 세밀한 순위 매기기를 가능하게 하기 위해 노력한다.
• 대규모 응용 프로그램에 적합한 계산 오버헤드를 유지하면서도 높은 검색 정확도를 달성하기 위해 노력한다.

제안 방법

• 두 스트림으로 구성된 딥 신경망을 설계한다: 한 스트림은 압축된 해시 코드와 해당하는 클래스별 비트 가중치를 학습하고, 다른 스트림은 학습을 안내하기 위해 의미 정보를 유지한다.
• 학습 과정에서 클래스별 가중치를 학습하여 다양한 이미지 클래스 간에 다른 해시 비트의 중요도 변화를 반영한다.
• 추론 시점에 질의의 예측된 의미 확률 분포와 학습된 클래스별 가중치를 행렬 곱셈을 통해 융합하여 질의에 적응하는 가중치를 생성한다.
• 이미지 검색은 표준 히빙 거리보다 더 세밀한 순위 매기기가 가능한 가중 히빙 거리를 사용하여 수행된다.
• 이 프레임워크는 엔드 투 엔드로 훈련 가능하며 해시 코드 품질, 의미 유지 및 비트 가중치의 관련성에 대해 동시에 최적화한다.
• 표준 평가 지표인 평균 평균 정밀도(mAP)를 사용하여 네 개의 대규모 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 모든 비트를 동일하게 취급하는 것과 비교해 클래스별 해시 비트 가중치를 학습하는 것이 검색 정확도를 향상시킬 수 있는가?
• RQ2 질의 의미와 클래스별 가중치에서 유도된 질의에 적응하는 가중치가 순위 정밀도를 추가로 향상시킬 수 있는가?
• RQ3 최신의 딥 히싱 및 전통적 히싱 기법과 비교해 제안된 QaDWH 방법은 정확도와 효율성 측면에서 어떻게 성과를 내는가?
• RQ4 의미 확률과 학습된 가중치의 통합이 더 효과적인 가중 히빙 거리 계산을 이끌어내는가?

주요 결과

• QaDWH는 CIFAR10, NUS-WIDE, MIRFLICKR, ImageNet 등 널리 사용되는 네 가지 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• QaDWH는 평균 평균 정밀도(mAP) 측면에서 여덟 개의 최신 기술 히싱 방법보다 뛰어난 성능을 보이며, 뛰어난 검색 정확도를 입증한다.
• 기본 모델인 DWH(고정된 클래스별 가중치 사용)는 NINH* (가중치 없음)보다 유의미하게 뛰어나, 학습된 비트 가중치의 가치를 입증한다.
• QaDWH는 모든 데이터셋에서 DWH를 초월하여 질의에 적응하는 가중치 생성의 효과성을 확인한다.
• QaDWH의 테스트 시간은 다른 딥 히싱 방법과 유사하며(이미지넷에서 10ms 미만), 효율적인 행렬 곱셈으로 가중치 생성을 수행함으로써 QRank보다 훨씬 빠르다.
• 결과는 가중 히빙 거리가 동일한 히빙 거리를 가진 여러 이미지가 존재하는 문제를 해결할 수 있는 세밀한 순위 매기기를 가능하게 한다.