[論文レビュー] Approximate Nearest Neighbor Search through Comparisons

Dominique Tschopp, Suhas Diggavi|ArXiv.org|Sep 11, 2009

Data Management and Algorithms参考文献 14被引用数 14

ひとこと要約

本論文は、2つの参照オブジェクトのうち、クエリーオブジェクトに近い方を返す類似度オракルのみを用いて動作する、新しい近似最近傍探索アルゴリズムを提案する。ランク歪度と組合せ的枠組みを用いて非度的な、知覚に基づく類似度空間をモデル化し、階層的探索とランク感受性ハッシュ（RSH）方式を設計することで、サブ線形のクエリーコストを達成する。主な貢献は、O(D³ log²n log log n^{D³}) のクエリーコストと、O(nD³ log²n log log n^{D³}) の学習コストを有するものであり、それに一致する下界が得られている。また、γ がランク歪度であるとき、(1+ε)r-近傍のうちの1つを n^{O(γ/ε)} クエリで検索可能な、新たな RSH 方式を提案する。

ABSTRACT

This paper addresses the problem of finding the nearest neighbor (or one of the R-nearest neighbors) of a query object q in a database of n objects. In contrast with most existing approaches, we can only access the ``hidden'' space in which the objects live through a similarity oracle. The oracle, given two reference objects and a query object, returns the reference object closest to the query object. The oracle attempts to model the behavior of human users, capable of making statements about similarity, but not of assigning meaningful numerical values to distances between objects.

研究の動機と目的

• 類似度オーケストラ（類似度の比較的判断）のみが利用可能な非度的空間において、効率的な近似最近傍探索を可能にすること。
• 知覚的類似度空間に内在する非一様性と推移性の欠如を、ランク歪度と組合せ的不秩序（D）を用いてモデル化すること。
• オーケストラの応答を活用して、探索中にクエリーコストを最小化する階層的探索アルゴリズムを開発すること。
• LSH の一般化として、非度的で比較ベースの類似度空間を想定したランク感受性ハッシュ（RSH）を導入すること。
• この設定における確率的アルゴリズムが要する平均クエリ数の理論的下界を確立すること。

提案手法

• 2つの参照と1つのクエリが与えられたとき、クエリに近い方の参照を返す類似度オーケストラを用い、人間の比較行動を模倣する。
• ランク歪度 γ を、すべてのオブジェクト間で平均ランク差とペアワイズランクの相関の程度を測る指標として定義し、空間内の非一様性を捉える。
• 近似的な三角不等式のランクにおける違反度を定量化する不秩序定数 D を持つ組合せ的枠組みを導入する。
• オーケストラの応答を用いて空間を再帰的に分割することで、最近傍に近づくように探索を誘導する確率的階層的探索構造を開発する。
• 2つのオブジェクトをランダムに選択し、データポイントごとにどちらが近いかに基づいて2値ラベルを割り当てるハッシュ関数を構築することで、ランク感受性ハッシュ（RSH）を提案する。
• RSH 方式が、(r, (1+ε)r, 1 - f(r)/n², 1 - f((1+ε)r)/(n²γ))-ランク感受性であることを証明し、性能はランク歪度 γ に依存する。

実験結果

リサーチクエスチョン

• RQ1 数値的距離値が存在しない状況で、類似度オーケストラが返す比較的判断のみを用いて、効率的な近似最近傍探索が達成可能か？
• RQ2 知覚的類似度空間に内在する非一様性と推移性の欠如は、どのように特徴づけられ、アルゴリズム的に活用可能か？
• RQ3 このオーケストラベースの設定において、確率的アルゴリズムの理論的クエリーコスト下界は何か？
• RQ4 LSH が非度的で比較ベースの空間で果たす役割を模倣できるランク感受性ハッシュ（RSH）を設計可能か？
• RQ5 提案されたアルゴリズムの性能は、下位の空間のランク歪度と組合せ的不秩序にどのように依存するか？

主な発見

• 提案された階層的探索アルゴリズムは、O(D³ log²n log log n^{D³}) のクエリーコストと、O(nD³ log²n log log n^{D³}) の学習コストを達成する。ここで D は組合せ的不秩序定数である。
• 学習フェーズで得られたすべてのオーケストラ応答が利用可能であると仮定した場合、確率的アルゴリズムの探索フェーズにおける平均クエリ数の下界が Ω(D log(n/D²) + D²) であることが確立された。
• ランク感受性ハッシュ（RSH）方式は、γ がランク歪度であるとき、n^{O(γ/ε)} クエリで (1+ε)r-近傍のうちの1つを確率一定で検索可能である。
• ランク歪度関数 f(r) が線形である場合、RSH 方式は (1+ε)r-近似最近傍探索において n^{O(γ/ε)} のクエリーコストを達成する。
• RSH 方式は、すべてのオブジェクトに対して高いランクを持つ外れ値と、中心的で人気のあるオブジェクトを自然に分離でき、繰り返しハッシュを用いた人気ベースの順序付けが可能になる。
• 数値的結果から、高次元で均一な空間（例：トーラス上の一様な点）においても、f(r) は小さな r に対してほぼ線形であることが示唆されており、RSH アプローチの実用性を支持する。