[논문 리뷰] Mean Local Group Average Precision (mLGAP): A New Performance Metric for Hashing-based Retrieval

Pak Lun Kevin Ding, Yikang Li외 1명|arXiv (Cornell University)|2018. 11. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 해싱 기반 검색을 평가하기 위한 새로운 지표인 평균 지역군 평균 정확도(mLGAP)를 제안한다. 이 지표는 검색 정확도와 해시 코드 활용도 사이의 균형을 맞춘다. mAP와 달리, mLGAP는 코드 충돌의 비용을 고려하여 열악한 코드 분산을 경감시키며, 실험 결과에서 CIFAR-10 및 CIFAR-100에서 개선된 코드 균일성과 일관된 랭킹 신뢰성을 보이며 실제 검색 성능을 더 잘 반영한다.

ABSTRACT

The research on hashing techniques for visual data is gaining increased attention in recent years due to the need for compact representations supporting efficient search/retrieval in large-scale databases such as online images. Among many possibilities, Mean Average Precision(mAP) has emerged as the dominant performance metric for hashing-based retrieval. One glaring shortcoming of mAP is its inability in balancing retrieval accuracy and utilization of hash codes: pushing a system to attain higher mAP will inevitably lead to poorer utilization of the hash codes. Poor utilization of the hash codes hinders good retrieval because of increased collision of samples in the hash space. This means that a model giving a higher mAP values does not necessarily do a better job in retrieval. In this paper, we introduce a new metric named Mean Local Group Average Precision (mLGAP) for better evaluation of the performance of hashing-based retrieval. The new metric provides a retrieval performance measure that also reconciles the utilization of hash codes, leading to a more practically meaningful performance metric than conventional ones like mAP. To this end, we start by mathematical analysis of the deficiencies of mAP for hashing-based retrieval. We then propose mLGAP and show why it is more appropriate for hashing-based retrieval. Experiments on image retrieval are used to demonstrate the effectiveness of the proposed metric.

연구 동기 및 목표

• mAP의 핵심적 결함을 해결하기 위해, 검색 정확도를 우선시하면서도 해시 코드 활용도를 간과해 높은 충돌률과 열악한 코드 분산을 초래하는 문제를 해결한다.
• 검색 정확도와 이진 공간 내 해시 코드 분포의 균일성을 동시에 평가할 수 있는 성능 지표를 개발한다.
• 높은 mAP 값이 해시 코드 충돌 증가로 인해 반드시 더 나은 검색 성능을 의미하지는 않음을 입증한다.
• 검색 순서 변화에 대해 민감하지 않고 코드 활용도에 민감한 점을 감안해, mLGAP가 더 신뢰성 있고 실용적인 평가를 제공함을 보여준다.
• 향상된 코드 균일성이 해시 공간 내에서 의미적 및 시각적 유사성을 유지하는 데 기여함을 검증한다.

제안 방법

• mAP에서 유도된 새로운 지표인 mLGAP를 제안하며, 지역군 평균 정확도를 통합하여 정확도와 코드 분산을 동시에 반영한다.
• 수학적으로 mAP가 코드 충돌을 충분히 경감시키지 못하는 점을 분석하고, mAP 최대화가 해시 공간 활용도를 떨어뜨린다는 점을 입증한다.
• 유사한 샘플이 동일한 해밍 거리를 가져야 한다는 강제 조건을 완화하기 위해 손실 함수에 버퍼 존 메커니즘을 도입하여 충돌 위험을 감소시킨다.
• 해밍 거리에 대해 L1 노름을 사용한 수정된 목적 함수를 설계하고, 간격 기반 제약 조건(r₁, r₂ 등)을 통합하여 동일 클래스 내 코드 근접도를 제어한다.
• 3개의 합성곱층과 2개의 완전 연결층을 가진 딥 네ural 네트워크(예: DSH)에 새로운 손실 함수를 적용하고, 12비트 코드로 CIFAR-10 및 CIFAR-100에서 학습한다.
• 경험적 마진 값 설정: CIFAR-100의 경우 r₁ = k/12, r₂ = k/6, r₃ = k/6, r₄ = k/3이며, CIFAR-10의 경우 r₁ = k/6, r₂ = k/3로 설정하고, m = 2k를 통해 최소 간격을 확보한다.

실험 결과

연구 질문

• RQ1 mAP는 해시 코드 활용도와 충돌률을 간과하기 때문에 실제 검색 성능을 제대로 반영하지 못하는가?
• RQ2 검색 정확도와 코드 분산을 균형 있게 반영하여 실질적 검색 성능을 더 잘 반영할 수 있는 새로운 지표를 설계할 수 있는가?
• RQ3 동일한 모델을 다양한 코드 분포 패턴 하에서 평가했을 때, 제안된 mLGAP 지표는 mAP에 비해 어떻게 성능을 발휘하는가?
• RQ4 새로운 손실 함수는 검색 정확도를 유지하거나 향상시키면서도 코드 균일성을 얼마나 향상시키는가?
• RQ5 mAP는 이러한 변화에 민감한 반면, mLGAP는 검색 순서 변화에 대해 강건한가?

주요 결과

• 제안된 mLGAP 지표는 검색 정확도와 해시 코드 활용도를 효과적으로 동시에 반영하여, mAP보다 더 균형 잡힌 평가를 가능하게 한다.
• 새로운 목적 함수로 학습된 모델은 12비트 해시 코드 사용에서 균일성이 크게 향상되었으며, 그 결과 코드 충돌이 감소함을 그림 8에서 확인할 수 있다.
• CIFAR-10에서 높은 mLGAP 값을 기록한 모델은 mAP가 최고가 아니더라도 더 우수한 코드 분산을 보였으며, 이는 mLGAP가 더 나은 성능을 내는 시스템을 탐지할 수 있음을 시사한다.
• 버퍼 존이 포함된 새로운 손실 함수는 같은 클래스의 샘플이 동일한 코드로 매핑되는 것을 방지하여 과적합을 줄였고, 해시 공간 내 의미적 유사성을 유지했다.
• mLGAP는 검색 순서 변화에 대해 강건한 반면, mAP는 충돌 민감도로 인해 다양한 순서에서 상당한 변동성을 보였다.
• CIFAR-10과 CIFAR-100에서의 실험 결과, 개선된 코드 균일성이 해시 공간 내 시각적 및 의미적 유사성의 유지와 관련이 있음을 입증했다.