[논문 리뷰] Learning Hash Codes via Hamming Distance Targets

Martin Loncaric, Bowei Liu외 1명|arXiv (Cornell University)|2018. 10. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 이산 거리 기반 손실 함수인 해밍 거리 타겟(Hamming Distance Target, HDT)을 제안하며, 이는 로그우도 손실을 사용해 두 입력이 목표 해밍 거리 내에 있을 확률을 모델링함으로써 이진 해시 코드 학습을 향상시킨다. 이 방법은 효율적인 미니배치 쌍 샘플링과 다중색인 기반 검색을 통해 빠른 검색을 구현하며, ImageNet에서 84% MAP, SIFT-1M에서 12,709번의 거리 비교 시 78.1% 재현율을 기록하여 기존 방법 대비 최대 8배 빠른 쿼리 효율성을 확보하며 최신 기준 성능을 달성한다.

ABSTRACT

We present a powerful new loss function and training scheme for learning binary hash codes with any differentiable model and similarity function. Our loss function improves over prior methods by using log likelihood loss on top of an accurate approximation for the probability that two inputs fall within a Hamming distance target. Our novel training scheme obtains a good estimate of the true gradient by better sampling inputs and evaluating loss terms between all pairs of inputs in each minibatch. To fully leverage the resulting hashes, we use multi-indexing. We demonstrate that these techniques provide large improvements to a similarity search tasks. We report the best results to date on competitive information retrieval tasks for ImageNet and SIFT 1M, improving MAP from 73% to 84% and reducing query cost by a factor of 2-8, respectively.

연구 동기 및 목표

• 유사도 검색에서 데이터-결과 해싱 방법의 열악한 성능을 개선하기 위해 이진 해시 코드 학습을 위한 향상된 학습 신호를 제공하기 위해.
• 두 입력이 목표 해밍 거리 내에 있을 확률을 모델링하는, 미분 가능한 일반 목적의 손실 함수를 개발하기 위해.
• 보다 나은 해시 코드 학습과 다중색인 기반 기법을 통해 근사 근접 이웃 검색에서 쿼리 비용을 줄이면서 재현율을 유지하거나 향상시키기 위해.
• 엔드 투 엔드로 학습된 해시 코드를 사용해 ImageNet과 SIFT-1M과 같은 경쟁적 벤치마크에서 최신 기준 성능을 입증하기 위해.

제안 방법

• HDT 손실 함수는 사전 이진화된 출력 분포를 시그모이드 기반 모델로 근사하여, 두 입력이 해밍 거리 타겟 내에 있을 확률의 로그우도를 사용한다.
• 학습 체계는 각 미니배치 내의 모든 입력 쌍을 샘플링하고, 이들 간의 손실 항목을 계산함으로써 기울기 추정을 향상시킨다.
• 이 방법은 어떤 미분 가능한 모델과 유사도 함수와도 호환되며, 신경망을 위한 이진 해싱을 위한 엔드 투 엔드 학습을 가능하게 한다.
• 다중색인 기법을 사용해 목표 해밍 거리 내 결과를 효율적으로 검색함으로써, 신속하고 확장 가능한 유사도 검색을 가능하게 한다.
• 온도 스케줄링을 적용한 시그모이드 함수를 사용해 출력이 ±1로 수렴하도록 유도함으로써, 이진화 안정성을 향상시킨다.
• 해밍 거리 타겟(r), 오답 긍정의 손실 비율(λ), 해시 비트 길이(n)와 같은 하이퍼파라미터를 조정하여 재현율과 쿼리 비용을 최적화한다.

실험 결과

연구 질문

• RQ1 해밍 거리 근접성의 확률을 모델링하는, 미분 가능한 손실 함수가 이진 해시 코드 학습을 향상시킬 수 있는가?
• RQ2 미니배치 내에서 전체 쌍 간 손실 계산을 통한 기울기 추정 향상은 해싱에서 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ3 HDT는 ImageNet과 SIFT-1M와 같은 표준 벤치마크에서 최신 기준 성능을 달성하면서도 쿼리 비용을 줄일 수 있는가?
• RQ4 왜 HDT는 더 긴 해시 길이가 항상 더 나은 성능을 내는 것으로 예상되는 것과는 달리 짧은 해시 길이에서 더 뛰어난 성능을 보이는가?
• RQ5 해밍 거리 확률의 통계적 모델링 방식은 기존의 교차 엔트로피나 L2 양자화 손실과 비교해 어떻게 다를까?

주요 결과

• HDT는 16비트에서 ImageNet에서 83.8% MAP를 기록했으며, 이는 이전 최고 성능 방법 대비 10.5%p의 절대적 향상이며, 최신 기준으로 84% MAP를 기록했다.
• SIFT-1M에서 HDT-E는 12,709번의 거리 비교 시 78.1% 재현율을 기록했으며, 이는 제품 양자화(PQ)가 101,158번의 비교를 요구한 74.4% 재현율을 상회하는 성능이다.
• HDT는 SIFT-1M에서 쿼리 비용을 2~8배 줄였으며, 이전 방법 대비 ImageNet에서 MAP를 11%p 향상시켰다.
• 높은 재현율 영역에서도 PQ보다 더 높은 재현율을 확보함으로써, 뛰어난 효율성과 효과성을 입증했다.
• HDT는 짧은 비트 길이(예: 16비트)에서도 뛰어난 성능을 보였으며, 이는 높은 표현 효율성을 나타내며, 더 긴 길이에서는 과적합의 가능성을 암시한다.
• 다중색인 기법을 활용해 목표 해밍 거리 내에서 신속한 검색을 구현함으로써, HDT가 대규모 응용 분야에서 실용적으로 활용 가능함을 입증했다.