[논문 리뷰] A Revisit on Deep Hashings for Large-scale Content Based Image Retrieval

Deng Cai, Xiuye Gu외 1명|arXiv (Cornell University)|2017. 11. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 13

한 줄 요약

이 논문은 현실적인 실험 설정을 사용하여 대규모 콘텐츠 기반 이미지 검색을 위한 최신 딥 히싱 방법을 재평가하며, 단순한 다중 테이블 비지도 히싱 방법(IsoH)에 비해 이들 방법이 성능이 열등하다는 것을 드러낸다. 이 연구는 이전 평가에서 간과된 핵심적 결함—검색 시간 忽시, 소규모 데이터셋 사용, 기존 방법에 대한 다중 테이블 최적화 생략—을 규명하여, 현실 조건에서 딥 히싱 방법이 잘 튜닝된 전통적 접근보다 일관되게 뛰어나지 못함을 결론 내린다.

ABSTRACT

There is a growing trend in studying deep hashing methods for content-based image retrieval (CBIR), where hash functions and binary codes are learnt using deep convolutional neural networks and then the binary codes can be used to do approximate nearest neighbor (ANN) search. All the existing deep hashing papers report their methods' superior performance over the traditional hashing methods according to their experimental results. However, there are serious flaws in the evaluations of existing deep hashing papers: (1) The datasets they used are too small and simple to simulate the real CBIR situation. (2) They did not correctly include the search time in their evaluation criteria, while the search time is crucial in real CBIR systems. (3) The performance of some unsupervised hashing algorithms (e.g., LSH) can easily be boosted if one uses multiple hash tables, which is an important factor should be considered in the evaluation while most of the deep hashing papers failed to do so. We re-evaluate several state-of-the-art deep hashing methods with a carefully designed experimental setting. Empirical results reveal that the performance of these deep hashing methods are inferior to multi-table IsoH, a very simple unsupervised hashing method. Thus, the conclusions in all the deep hashing papers should be carefully re-examined.

연구 동기 및 목표

• 딥 히싱 방법이 대규모 콘텐츠 기반 이미지 검색에서 전통적 히싱보다 뛰어나다는 널리 퍼진 주장에 도전하기 위해.
• 기존 딥 히싱 논문의 평가 프로토콜에서 발생하는 핵심 결함을 규명하고 수정하기 위해.
• 딥 히싱과 전통적 히싱 방법을 비교하기 위한 더 현실적인 벤치마크를 수립하기 위해.
• 검색 시간과 다중 테이블 색인화가 성능에 미치는 영향이 크며 평가에 반드시 포함되어야 한다는 것을 보여주기 위해.
• 실제 조건에서 단순한 비지도 방법인 다중 테이블 IsoH가 복잡한 딥 러닝 기반 히싱 접근보다 뛰어날 수 있음을 보여주기 위해.

제안 방법

• 대규모 ImageNet 데이터셋을 사용하여 부분적으로 지도 학습 설정에서 세 가지 최신 딥 히싱 방법(DLBH, DNNH, DCH)을 재평가한다.
• 정밀도-시간 곡선을 사용하여 정확도와 효율성을 동시에 측정하며, 검색에 실제 소요되는 시간을 포함한다.
• 기존 히싱 방법(LSH 및 IsoH)에 다중 테이블 기법을 적용하여 성능을 크게 향상시키고 공정한 비교를 가능하게 한다.
• 코드 길이가 검색 효율성에 미치는 영향을 분리하기 위해 위치 탐색 시간과 스캔 시간을 별도로 측정한다.
• 두 단계 검색 파이프라인을 사용한다: 먼저 해밍 거리 기반 해시 버킷을 통해 후보 이미지를 찾고, 그 다음 정확한 거리 계산을 통해 재순서 정렬한다.
• 코드 길이가 증가함에 따라 접근해야 할 해시 버킷 수가 지수적으로 증가하는 경향을 분석하여, 위치 탐색 시간이 급격히 증가하는 이유를 설명한다.

실험 결과

연구 질문

• RQ1 실제 조건에서 평가할 경우, 딥 히싱 방법의 성능이 전통적 히싱 방법보다 뛰어나다고 여전히 유지되는가?
• RQ2 검색 시간을 포함함으로써 딥 히싱과 전통적 히싱 방법 간의 상대적 성능 순위는 어떻게 변하는가?
• RQ3 다중 테이블 색인화 기법이 LSH 및 IsoH와 같은 전통적 히싱 알고리즘의 성능을 어느 정도 향상시키는가?
• RQ4 딥 히싱 방법에서 코드 길이가 검색 정확도와 효율성 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 왜 딥 히싱 방법은 대규모이고 복잡한 데이터셋에서 단순한 비지도 히싱 방법인 IsoH에 비해 뛰어나지 못하는가?

주요 결과

• 정확한 검색 시간 측정을 통해 대규모 ImageNet 데이터셋에서 딥 히싱 방법의 성능은 다중 테이블 IsoH에 비해 열등하다.
• 다중 테이블 IsoH는 최고의 딥 히싱 방법(DLBH)보다 100개의 검색 결과에서 정밀도 측면에서 뚜렷이 뛰어나다.
• 코드 길이가 증가함에 따라 딥 히싱 방법의 위치 탐색 시간은 거의 지수적으로 증가하여, 더 긴 코드는 더 높은 정확도를 제공하지만 실용적으로는 불가능해진다.
• 모든 히싱 방법의 정밀도는 대규모이고 복잡한 데이터셋에서 브루트 포스 검색의 상한선에 수렴하며, 이는 성능의 한계를 의미한다.
• 검색 시간을 평가에 포함시킴으로써, 딥 히싱에서 더 긴 코드 길이가 급격히 증가하는 검색 시간을 초래함을 드러내어, 실용적 유용성이 떨어짐을 입증한다.
• 이 연구는 딥 히싱 논문에서의 우월성 주장이 현실적인 벤치마크 조건에서 탄탄하지 않으며, 재검토가 필요하다고 결론 내린다.