[論文レビュー] A Revisit of Hashing Algorithms for Approximate Nearest Neighbor Search

Deng Cai|arXiv (Cornell University)|Dec 22, 2016

Advanced Image and Video Retrieval Techniques参考文献 48被引用数 19

ひとこと要約

この論文は、ハッシュインデックス検索のための新しいグループ化ハミングランク手法を提案することで、近似最近傍探索（ANNS）のハッシングアルゴリズムを再考する。驚くべきことに、コード長を1,024ビットまたは2,048ビットに延長した場合、ランダム射影に基づく局所性に敏感なハッシュ（LSH）が、10種類の高度なデータ依存ハッシングアルゴリズムを上回る性能を発揮し、最近の手法の優位性に関する従来の主張に疑問を呈する。

ABSTRACT

Approximate Nearest Neighbor Search (ANNS) is a fundamental problem in many areas of machine learning and data mining. During the past decade, numerous hashing algorithms are proposed to solve this problem. Every proposed algorithm claims outperform other state-of-the-art hashing methods. However, the evaluation of these hashing papers was not thorough enough, and those claims should be re-examined. The ultimate goal of an ANNS method is returning the most accurate answers (nearest neighbors) in the shortest time. If implemented correctly, almost all the hashing methods will have their performance improved as the code length increases. However, many existing hashing papers only report the performance with the code length shorter than 128. In this paper, we carefully revisit the problem of search with a hash index, and analyze the pros and cons of two popular hash index search procedures. Then we proposed a very simple but effective two level index structures and make a thorough comparison of eleven popular hashing algorithms. Surprisingly, the random-projection-based Locality Sensitive Hashing (LSH) is the best performed algorithm, which is in contradiction to the claims in all the other ten hashing papers. Despite the extreme simplicity of random-projection-based LSH, our results show that the capability of this algorithm has been far underestimated. For the sake of reproducibility, all the codes used in the paper are released on GitHub, which can be used as a testing platform for a fair comparison between various hashing algorithms.

研究の動機と目的

• 公平かつ包括的な条件下で、一般的に使われるハッシングアルゴリズムの近似最近傍探索（ANNS）における性能を再評価すること。
• 従来のハッシング論文における徹底的な評価の欠如、特にコード長が短い（通常128ビット未満）こと、MATLABにおける非効率なハミングランク手法に依存していることに対処すること。
• ハッシングアルゴリズム間の公平かつ効率的な比較を可能にするために、新しい二段階のハッシュインデックス構造とグループ化ハミングランク検索手順を提案すること。
• 同じ条件で、木ベース、量子化ベース、グラフベースのアプローチを含む最新のANNS手法と、ランダム射影に基づくLSHをベンチマークすること。
• GitHubを通じて再現可能でオープンソースのテストプラットフォームを提供し、将来のハッシングアルゴリズムの公平なベンチマークを可能にすること。

提案手法

• 検索効率と比較の公平性を向上させるために、二段階のハッシュインデックス構造を提案する。
• 複数のハッシュテーブルからの結果を統合することで、コード長を増加させずに再現率を向上させるグループ化ハミングランクアプローチを導入する。
• 元のMATLABベースのLSH実装を最適化されたC++コード（RPLSHと命名）に変換し、性能比較を公平に行う。
• 大規模データセット（SIFT1M、GIST1M）を用いた体系的な評価フレームワークを採用し、再現率 vs. コード長、再現率 vs. 検索時間の曲線を評価する。
• すべてのアルゴリズムに同一のハードウェアとシングルスレッド実行を適用し、公平な比較を確保する。
• 高い再現率を得るためにパラメータを最適化したFALCONN、FLANN、Annoy、FAISS、KGraphの5つの既存のANNSライブラリとRPLSHを比較する。

実験結果

リサーチクエスチョン

• RQ1 公平かつ包括的な条件下で評価された場合、ランダム射影に基づくLSHは、最新のデータ依存ハッシングアルゴリズムと比較して競争力を持つのか？
• RQ2 一般的に使われる128ビットよりも長いコード長に伴い、ハッシングアルゴリズムの性能はどのように変化するのか？
• RQ3 ハミングランクとハッシュバケット検索のどちらのハッシュインデックス検索手順が、性能と公平性において優れているのか？
• RQ4 適切に実装された場合、単純でデータに依存しない手法（ランダム射影LSH）は、複雑なデータ依存ハッシングアルゴリズムを上回ることができるのか？
• RQ5 高再現率レベルにおいて、RPLSHは他の最新のANNS手法（例：木ベース、量子化ベース、グラフベース）と比較して、再現率と速度の両面で優れているのか？

主な発見

• コード長を1,024ビットまたは2,048ビットに延長した場合、ランダム射影に基づくLSH（RPLSH）は、SIFT1MおよびGIST1Mの両方で10の他のハッシングアルゴリズムを上回る最高の性能を発揮する。
• SIFT1Mでは、RPLSHは99％を超える最高の再現率を達成し、低再現率レベルでも2番目に優れた性能を示す。GIST1Mでは、再現率が90％を超えると、RPLSHが最良のパフォーマンスを発揮する。
• RPLSHは、FALCONN（別のLSHベース手法）を顕著に上回る。これは、マルチテーブルハッシュバケット検索ではなく、グループ化ハミングランクを採用しているためである。
• 木ベース手法（FLANN、Annoy）は低次元データでは優れた性能を発揮するが、高次元データでは性能が低下する。一方、FAISS（プロダクト量子化）は近似による制限により高い再現率を達成できない。
• KGraph（グラフベース手法）は、GIST1Mにおいて高再現率でRPLSHに劣るが、これはLSHが本質的に遅いか不正確であるという主張を覆すものである。
• 本研究では、多くのハッシングアルゴリズムの性能がコード長の延長に伴い向上することが示されたが、多くの既存研究では、恣意的なコード長の制限により、この点を十分に調査していない。