[논문 리뷰] Learning Hash Functions Using Column Generation

Xi Li, Guosheng Lin외 3명|arXiv (Cornell University)|2013. 03. 02.

Algorithms and Data Compression참고 문헌 24인용 수 85

한 줄 요약

이 논문은 대규모 마진 최적화 프레임워크 내에서 삼중항 기반의 근접성 제약 조건을 사용하여 데이터에 의존하는 해시 함수를 학습하기 위한 새로운 컬럼 생성 기반 방법인 CGHash를 제안한다. 반복적으로 최적의 해시 함수를 선택하고 전역 수렴을 보장함으로써, CGHash는 여러 기준 데이터셋에서 압축된 이진 코드로 최신 기술 수준의 검색 성능을 달성한다.

ABSTRACT

Fast nearest neighbor searching is becoming an increasingly important tool in solving many large-scale problems. Recently a number of approaches to learning data-dependent hash functions have been developed. In this work, we propose a column generation based method for learning data-dependent hash functions on the basis of proximity comparison information. Given a set of triplets that encode the pairwise proximity comparison information, our method learns hash functions that preserve the relative comparison relationships in the data as well as possible within the large-margin learning framework. The learning procedure is implemented using column generation and hence is named CGHash. At each iteration of the column generation procedure, the best hash function is selected. Unlike most other hashing methods, our method generalizes to new data points naturally; and has a training objective which is convex, thus ensuring that the global optimum can be identified. Experiments demonstrate that the proposed method learns compact binary codes and that its retrieval performance compares favorably with state-of-the-art methods when tested on a few benchmark datasets.

연구 동기 및 목표

• 멀티미디어 검색 및 웹 검색과 같은 대규모 데이터 응용 분야에서 효율적이고 확장 가능한 유사도 검색의 필요성을 해결한다.
• LSH와 같은 데이터에 독립적인 해싱의 한계를 극복하기 위해 의미적 근접성을 유지하는 데이터에 의존하는 해시 함수를 학습한다.
• 삼중항 기반의 상대적 거리 제약 조건(예: x는 x+보다 x−보다 더 가깝다)을 사용하여 해시 함수 학습을 위한 볼록 최적화 문제를 수립한다.
• 후보 해시 함수의 수가 지수적으로 증가함에도 불구하고 학습 목표의 전역 최적화를 가능하게 한다.
• 선형, 决定 스텁, RBF 등 다양한 유형의 해시 함수와 손실 함수를 지원할 수 있는 유연한 프레임워크를 개발한다.

제안 방법

• 삼중항 제약 조건을 처리하기 위해 볼록 대체 손실 함수를 사용하여 해시 학습 문제를 대규모 마진 최적화 작업으로 수립한다.
• 모든 잠재적 해시 함수(각각의 변수로 할당)에 대해 지수적으로 많은 변수를 포함하는 선형 프로그램으로 학습 목표를 모델링하여 직접적인 해결이 불가능하다.
• 반복적으로 가장 위반된 제약 조건(즉, 현재 해를 향상시키는 데 가장 유익한 해시 함수)을 식별하기 위해 컬럼 생성을 적용한다.
• 각 반복 단계에서 가격 하위 문제를 해결하여 현재 해를 개선할 수 있는 최적의 새로운 해시 함수를 찾는다.
• 이중 변수를 사용하여 선택된 해시 함수의 가중치를 가중 히프닝 거리 계산에 업데이트한다.
• 전체 최적화 문제의 볼록성 덕분에 전역 최적해로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 컬럼 생성 기반 접근법은 고차원 데이터에서 상대적 근접성 관계를 유지하는 데이터에 의존하는 해시 함수를 효과적으로 학습할 수 있는가?
• RQ2 제안된 방법은 압축된 이진 코드를 유지하면서 최신 기술 수준의 해싱 기법보다 뛰어난 검색 성능을 달성하는가?
• RQ3 기존의 해싱 방법과 비교해 볼 때, 이 프레임워크는 미리 보지 않은 데이터 포인트로의 일반화 능력이 어떻게 되는가?
• RQ4 이 방법의 볼록 최적화 수식은 전역 수렴성과 안정성을 어느 정도 보장하는가?
• RQ5 이 프레임워크는 다양한 유형의 해시 함수와 손실 함수를 지원하도록 쉽게 확장 가능한가?

주요 결과

• CGHash는 여섯 개의 기준 데이터셋에서 모든 경쟁 기법보다 정밀도-재현율 곡선 아래 면적이 더 크며, 이는 뛰어난 검색 품질을 의미한다.
• CGHash는 상위 50개 검색 결과에서 진짜 최근접 이웃의 비율을 더 높게 유지하며, ITQ, SPH, AGH 등의 방법과 비교해 통계적으로 유의미한 개선을 보였다.
• K-최근접 이웃 분류에서 CGHash는 특히 코드 길이가 길어질수록 최신 기술 수준의 기준보다 더 낮은 오류율을 기록했다.
• K-NN 분류에서 K가 증가할수록 CGHash의 성능이 향상되어 강인성과 일반화 능력이 뛰어나다는 것을 보여주었다.
• MNIST 및 LABELME 데이터셋에서의 실험 결과는 시각적으로 정확한 최근접 이웃 검색 결과를 도출하였으며, 이는 실제 응용 분야에서의 방법의 효과성을 확인한다.
• 조정 매개변수 C는 성능에 거의 영향을 주지 않아, 이 방법이 안정적이고 하이퍼파ram터 튜닝에 덜 민감하다는 것을 시사한다.