[論文レビュー] Spectral Approaches to Nearest Neighbor Search

Amirali Abdullah, Alexandr Andoni+2 more|arXiv (Cornell University)|Aug 4, 2014

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 6

ひとこと要約

本稿では、低次元部分空間に分布し、高次元ガウスノイズで摂動される半ランダムモデルにおいて、上位のPCA部分空間を活用するスペクトル近傍探索アルゴリズムを提案する。この手法は、ノイズの大きさが元の点間距離を上回る場合でさえ、$d$および$\log n$に関して多項式時間のクエリ時間を持つことを達成し、ランダム射影に対するデータに適応したスペクトル手法の経験的優位性の理論的裏付けを提供する。

ABSTRACT

We study spectral algorithms for the high-dimensional Nearest Neighbor Search problem (NNS). In particular, we consider a semi-random setting where a dataset $P$ in $\mathbb{R}^d$ is chosen arbitrarily from an unknown subspace of low dimension $k\ll d$, and then perturbed by fully $d$-dimensional Gaussian noise. We design spectral NNS algorithms whose query time depends polynomially on $d$ and $\log n$ (where $n=|P|$) for large ranges of $k$, $d$ and $n$. Our algorithms use a repeated computation of the top PCA vector/subspace, and are effective even when the random-noise magnitude is {\em much larger} than the interpoint distances in $P$. Our motivation is that in practice, a number of spectral NNS algorithms outperform the random-projection methods that seem otherwise theoretically optimal on worst case datasets. In this paper we aim to provide theoretical justification for this disparity.

研究の動機と目的

• 理論的に最適なランダム射影と、実際の応用で優れた性能を示すデータに適応したスペクトル手法の間のギャップを埋めること。
• ランダム射影が理論的に最適であるにもかかわらず、PCAツリー やハッシングといったスペクトル手法が実際の応用でなぜ優れているのかを説明すること。
• データが低次元部分空間にあり、i.i.d.ガウスノイズで摂動される半ランダムモデルにおける近傍探索を分析すること。
• ノイズの大きさが元の点間距離を上回る場合でも、依然として有効なアルゴリズムを設計すること。
• 現実的で最悪ケースでないデータ分布を想定した状況下で、スペクトルNNSの正しさと性能を厳密に保証すること。

提案手法

• アルゴリズムは、元の近傍関係を保つ低次元空間にデータとクエリポイントを射影するため、上位PCA部分空間の繰り返し計算を用いる。
• スペクトル射影を用いて階層的ツリー構造を構築し、ノードは上位PCAベクトルが張る部分空間への直交射影で定義される。
• クエリ処理では、射影された部分空間におけるクエリとの類似度に従い、子ノードをたどってツリーを走査し、超平面スナッピングを用いて探索空間を縮小する。
• 重複する点（近接する点）を除外するためのデクランプング手順を実施し、真の最近傍点が除外されないことを理論的に保証する。
• 測定の集中性とランダム射影のスペクトル性質に依拠し、誤差項を抑え、ノイズ下でも正しさを保証する。
• 主な技術的ツールには、PCA部分空間に沿った成分とそれに対して直交する成分へのベクトルの直交分解、およびガウスノイズの尾部確率の境界がある。

実験結果

リサーチクエスチョン

• RQ1 実際のデータモデル下で、スペクトル手法は近傍探索においてランダム射影を上回ることができるか？
• RQ2 データが高次元ガウスノイズで汚染された場合、PCAに基づく射影が近傍関係をどの程度保つのか？
• RQ3 ノイズの大きさが元のデータ距離を上回る場合でも、$d$および$\log n$に関して多項式的クエリ時間を持つ、証明可能なスペクトルNNSアルゴリズムを設計できるか？
• RQ4 なぜPCAツリー やスペクトルハッシングといったデータに適応したスペクトルヒューリスティクスが、実際の応用でランダム射影ベースの手法を上回るのか？
• RQ5 敵対的データとランダム摂動を伴う滑らかさ解析の設定下で、スペクトル手法を用いて正しさと効率性を両立させることは可能か？

主な発見

• 提案されたスペクトルNNSアルゴリズムは、半ランダムモデル下で、$(k/\epsilon)^{O(k)}d^2$ のクエリ時間を達成する。これは、$k$ と $\epsilon$ を固定した場合、$d$ および $\log n$ に関して多項式的である。
• ノイズの標準偏差 $\sigma$ が $\sigma \gg 1/\sqrt{d}$ を満たす場合でさえ、真の最近傍点が正しく復元される。これはノイズの大きさが元の点間距離を上回ることを意味する。
• 元の空間における最近傍点と第二近傍点の距離差が $1$ 対 $1+\epsilon$ と非常に小さい場合でも、アルゴリズムは正しく動作する。これは、摂動後の空間で距離差が明確である必要がないという、はるかに弱い仮定である。
• デクランプング処理により真の最近傍点が除外されないことが、ガウスノイズとスペクトル射影の集中性に関する境界により証明されている。
• 解析により、ランダムノイズによる射影誤差が制限され、標準的なJohnson-Lindenstrauss射影とは異なり、スペクトル手法が正しい最近傍点を回復できることを示している。
• 本手法は、PCAツリー やスペクトルハッシングといった経験的優位性を示すスペクトルNNSヒューリスティクスの背後にある理論的根拠を提供する。具体的には、現実的データモデル下でそれらが証明可能に正しい動作をすることを示している。