[논문 리뷰] On the Evaluation Metric for Hashing

Qing-Yuan Jiang, Mingwei Li외 1명|arXiv (Cornell University)|2019. 05. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 해싱에 대한 기존 평가 지표의 심각한 결함을 규명하며, 특히 버킷 검색에서 MAP 및 precision@R과 같은 지표들이 검색 시간을 忽略하고 해밍 반경에 민감도가 부족하다는 점을 지적한다. 저자들은 검색 효율성과 모든 해밍 반경에서의 전반적 성능을 통합하는 새로운 지표인 RAMAP(Radius Aware Mean Average Precision)을 제안한다. 합성 및 실세계 실험을 통해 RAMAP가 기존 지표보다 더 신뢰성 있고 일관성 있는 평가를 제공함을 입증한다.

ABSTRACT

Due to its low storage cost and fast query speed, hashing has been widely used for large-scale approximate nearest neighbor (ANN) search. Bucket search, also called hash lookup, can achieve fast query speed with a sub-linear time cost based on the inverted index table constructed from hash codes. Many metrics have been adopted to evaluate hashing algorithms. However, all existing metrics are improper to evaluate the hash codes for bucket search. On one hand, all existing metrics ignore the retrieval time cost which is an important factor reflecting the performance of search. On the other hand, some of them, such as mean average precision (MAP), suffer from the uncertainty problem as the ranked list is based on integer-valued Hamming distance, and are insensitive to Hamming radius as these metrics only depend on relative Hamming distance. Other metrics, such as precision at Hamming radius R, fail to evaluate global performance as these metrics only depend on one specific Hamming radius. In this paper, we first point out the problems of existing metrics which have been ignored by the hashing community, and then propose a novel evaluation metric called radius aware mean average precision (RAMAP) to evaluate hash codes for bucket search. Furthermore, two coding strategies are also proposed to qualitatively show the problems of existing metrics. Experiments demonstrate that our proposed RAMAP can provide more proper evaluation than existing metrics.

연구 동기 및 목표

• 기존 해싱 평가 지표의 단점을 체계적으로 분석함으로써, 특히 버킷 검색 맥락에서의 문제점을 규명하는 것.
• 현행 지표에서 검색 시간 비용이 생략되어 있어 실세계 성능 평가에 필수적인 요소가 누락되어 있음을 해결하는 것.
• MAP와 같은 지표가 해밍 반경에 민감도가 없고, precision@R이 전반적 성능 평가에 취약하다는 문제를 해결하는 것.
• 정확도와 효율성을 모두 반영하는 새로운 종합적 평가 지표를 제안하는 것.
• 질적 코딩 전략과 실증적 실험을 통해 제안된 지표의 우수성을 검증하는 것.

제안 방법

• 모든 해밍 반경에 걸쳐 해밍 반경을 가중치로 포함한 MAP의 확장으로서, 새로운 평가 지표인 RAMAP을 도입한다.
• RAMAP을 정의함에 있어, 데이터셋 내 해밍 거리 분포에서 유도된 가중치를 사용하여 모든 해밍 반경에서의 평균 평균 정밀도(MAP)의 가중 평균으로 설정한다.
• 특정 반경에 국한되지 않고 전체 해밍 거리 스펙트럼에서의 성능을 강조하는 반경 인식 가중치 체계를 설계한다.
• LSH 대 LSH SE, 히우리스틱 대 학습 기반 코딩의 두 가지 코딩 전략을 설계하여 기존 지표의 한계를 질적으로 입증한다.
• 학습된 해시 코드로부터 역인verted 인덱스 테이블을 구축하여 검색 시간과 빈 버킷 비율을 측정하고, 이를 평가 프레임워크에 통합한다.
• 다양한 데이터셋과 코드 길이에서 RAMAP를 MAP, precision@R, 재현율과 비교하여 탄력성과 일관성을 검증한다.

실험 결과

연구 질문

• RQ1 왜 기존 지표인 MAP 및 precision@R은 버킷 검색에서 해싱 알고리즘 간 비교를 신뢰할 수 없게 하는가?
• RQ2 현행 지표에서 검색 시간 비용이 생략됨으로써 해싱 성능 평가가 어떻게 오도되는가?
• RQ3 왜 MAP는 해밍 반경에 민감도가 없으며, 이는 알고리즘 비교에 어떤 영향을 미치는가?
• RQ4 어떻게 하나의 지표로 모든 해밍 반경에서의 검색 정확도와 효율성을 효과적으로 평가할 수 있는가?
• RQ5 전반적 성능과 검색 시간을 통합한 새로운 지표가 기존 접근 방식보다 더 일관되고 신뢰할 수 있는 평가를 제공할 수 있는가?

주요 결과

• RAMAP는 DSH가 최고 성능을 보이고 12-DSH가 최악임을 이론적 기대와 일치하는 일관된 알고리즘 순위를 제공하며, MAP 및 precision@R을 능가한다.
• precision@R은 다양한 반경에서의 결과가 상충되어 명확한 순위를 제공하지 못한다. 예를 들어, 고반경에서는 4-DSH가 DSH를 앞서지만, 저반경에서는 성능이 열 劣하다.
• 해밍 반경이 증가할수록 검색 시간 비용이 기하급수적으로 증가하므로, 고반경 정밀도 값이 높더라도 실용성이 떨어지며, RAMAP는 시간 인식 가중치를 통해 이를 보완한다.
• 높은 반경 검색에서 빈 버킷 수가 크게 증가하며, 특히 12-DSH의 경우 버킷 활용도가 떨어짐을 보여주며, 이는 RAMAP가 반영한 요소이다.
• CIFAR-10에서의 실험 결과, RAMAP는 DSH를 최고의 방법으로 정확히 식별하지만, MAP는 값이 거의 동일하여 메서드 간 구분이 불가능하다.
• MAP는 최소한의 변동성을 보이며 분별력이 떨어지므로, RAMAP는 48비트 및 64비트 코드 길이 전반에서 결정론적이고 일관된 평가를 제공한다.