[논문 리뷰] Tiny Descriptors for Image Retrieval with Unsupervised Triplet Hashing

Jie Lin, Olivier Morère외 3명|arXiv (Cornell University)|2015. 11. 10.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 6

한 줄 요약

이 논문은 비지도 학습 기반의 삼중체 해싱(Unsupervised Triplet Hashing, UTH)을 제안한다. UTH는 먼저 깊이 신경망의 고차원 기술자들을 스택형 제한 동질 막대기 모델(SRBM)을 사용해 압축하고, 이후 삼중체 네트워크를 통해 이진 코드를 미세조정하여 거리 구조를 유지한다. UTH는 UKbench 및 Holidays와 같은 벤치마크에서 32비트 인코딩 시 Recall@100 기준 기존 방법보다 최대 +5% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A typical image retrieval pipeline starts with the comparison of global descriptors from a large database to find a short list of candidate matches. A good image descriptor is key to the retrieval pipeline and should reconcile two contradictory requirements: providing recall rates as high as possible and being as compact as possible for fast matching. Following the recent successes of Deep Convolutional Neural Networks (DCNN) for large scale image classification, descriptors extracted from DCNNs are increasingly used in place of the traditional hand crafted descriptors such as Fisher Vectors (FV) with better retrieval performances. Nevertheless, the dimensionality of a typical DCNN descriptor --extracted either from the visual feature pyramid or the fully-connected layers-- remains quite high at several thousands of scalar values. In this paper, we propose Unsupervised Triplet Hashing (UTH), a fully unsupervised method to compute extremely compact binary hashes --in the 32-256 bits range-- from high-dimensional global descriptors. UTH consists of two successive deep learning steps. First, Stacked Restricted Boltzmann Machines (SRBM), a type of unsupervised deep neural nets, are used to learn binary embedding functions able to bring the descriptor size down to the desired bitrate. SRBMs are typically able to ensure a very high compression rate at the expense of loosing some desirable metric properties of the original DCNN descriptor space. Then, triplet networks, a rank learning scheme based on weight sharing nets is used to fine-tune the binary embedding functions to retain as much as possible of the useful metric properties of the original space. A thorough empirical evaluation conducted on multiple publicly available dataset using DCNN descriptors shows that our method is able to significantly outperform state-of-the-art unsupervised schemes in the target bit range.

연구 동기 및 목표

• 고차원 딥 이미지 기술자를 효율적인 대규모 이미지 검색을 위해 극히 컴팩트한 이진 코드로 압축하는 문제를 해결하기 위해.
• 극도의 비트 레이트 감소에도 불구하고 원본 딥 기술자의 메트릭 구조를 유지하기 위해.
• 비용이 많이 들거나 보조 정보에 의존하지 않고도 경쟁 가능한 성능을 유도하는 완전히 비지도 방법을 개발하기 위해.
• 표현 학습과 메트릭 유지 미세조정을 결합하여 기존 비지도 해싱 기법을 초월하기 위해.

제안 방법

• 먼저, 4096차원의 DCNN 기술자를 32~256비트로 압축하는 저차원 이진 임베딩 함수를 학습하기 위해 스택형 제한 동질 막대기 모델(SRBM)을 비지도 방식으로 훈련한다.
• 이어서, 공유 가중치를 가진 삼중체 네트워크를 사용해 학습된 이진 임베딩을 미세조정하며, 원본 기술자 공간의 상대적 유사도 관계를 유지하도록 이진 코드를 최적화한다.
• 삼중체 네트워크는 앵커, 양성, 음성 이미지 삼중체를 사용하여 상대적 유사도 순서를 유지하는 순서 정렬 손실을 학습한다.
• 이 방법은 데이터셋의 내재된 유사도 구조에서 유도된 이미지 삼중체를 제외하고는 완전히 비지도이다. 따라서 레이블이나 주석이 필요하지 않다.
• 최종 이진 코드는 훈련 중에 미분 가능한 소프트-하드 이진화 과정을 거친 후 추론 시 하드 임계값 처리를 통해 계산된다.
• 평가에서는 이진 코드에 대해 해밍 거리를, 압축 해제된 기술자에 대해 L2 거리를 사용하며, 표준 지표로 Recall@R, mAP 및 100만 개의 배경 이미지(1M distractors)를 포함한 대규모 검색 성능을 측정한다.

실험 결과

연구 질문

• RQ1 32~256비트 이진 코드로 고차원 딥 이미지 기술자를 효과적으로 압축하면서도 검색 성능을 유지할 수 있는가?
• RQ2 삼중체 네트워크를 통한 이진 코드의 미세조정이 비지도 사전학습만으로도 성능을 크게 향상시키는가?
• RQ3 ITQ, PCAHash, LSH와 같은 최신 비지도 해싱 기법과 비교해 UTH의 Recall 및 mAP 성능은 여러 데이터셋에서 어떻게 나타나는가?
• RQ4 비트 깊이가 증가함에 따라 압축된 기술자와 압축 해제된 기술자 간의 성능 격차는 어느 정도 줄어드는가?

주요 결과

• UTH는 모든 데이터셋과 비트레이트에서 ITQ, PCAHash, LSH를 포함한 모든 기준 비지도 해싱 기법을 앞서며, UKbench에서 32비트일 때 Recall@100에서 최대 +5% 향상되었다.
• 미세조정 단계는 SRBM만 사용할 경우보다 성능 향상이 뚜렷하며, 특히 낮은 비트레이트에서 메트릭 구조의 효과적인 유지가 가능함을 시사한다.
• Oxford5k에서 UTH는 ITQ 및 PCAHash와 같은 최상위 기준 기법들에 비해 평균적으로 2% 이내의 mAP 성능 손실을 보였으며, 이는 평균적으로 한 개의 쿼리에서만 성능 저하가 발생한 것으로 해석된다.
• 256비트일 경우, Holidays에서 UTH는 압축 해제된 4096비트 기술자 대비 Recall@10에서 2% 성능 저하를 보였으며, 32비트일 경우 26%의 성능 저하를 보였다.
• 100만 개의 배경 이미지를 포함한 대규모 검색 환경에서, Holidays+1M 및 UKbench+1M 모두에서 UTH는 모든 비트레이트에서 뛰어난 성능을 유지하며 확장 가능성을 입증했다.
• 32비트일 경우 압축된 기술자와 압축 해제된 기술자 간의 성능 격차는 여전히 크지만, 높은 비트레이트에서 그 격차가 크게 줄어들며 극도로 압축된 상태에서의 향상 여지가 있음을 시사한다.