[論文レビュー] Learning Space Partitions for Nearest Neighbor Search

Yihe Dong, Piotr Indyk+2 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Image and Video Retrieval Techniques参考文献 46被引用数 27

ひとこと要約

この論文では、k-NNグラフのバランスの取れたグラフ分割と教師あり分類を組み合わせることで、近傍探索（NNS）の性能を向上させる、新しい空間分割の学習フレームワークであるNeural Locality-Sensitive Hashing（Neural LSH）を提案する。この手法は、標準ベンチマークにおいて、量子化ベース、木構造ベース、および古典的なLSH手法を上回り、より少ない候補数で高い精度を達成する。

ABSTRACT

Space partitions of $\mathbb{R}^d$ underlie a vast and important class of fast nearest neighbor search (NNS) algorithms. Inspired by recent theoretical work on NNS for general metric spaces [Andoni, Naor, Nikolov, Razenshteyn, Waingarten STOC 2018, FOCS 2018], we develop a new framework for building space partitions reducing the problem to balanced graph partitioning followed by supervised classification. We instantiate this general approach with the KaHIP graph partitioner [Sanders, Schulz SEA 2013] and neural networks, respectively, to obtain a new partitioning procedure called Neural Locality-Sensitive Hashing (Neural LSH). On several standard benchmarks for NNS, our experiments show that the partitions obtained by Neural LSH consistently outperform partitions found by quantization-based and tree-based methods as well as classic, data-oblivious LSH.

研究の動機と目的

• スケッチベース手法では成功を収めているが、近傍探索（NNS）における空間分割の分野では、現代の教師あり機械学習を活用する点に課題が残っていることに対処する。
• データに適応した分割を学習することで、NNSの主な指標（候補集合サイズ、再現率、計算効率）を最適化するフレームワークを設計すること。
• k-均値法やランダム射影といった、データに無関係で非教師ありの分割手法の限界を克服すること。
• 教師あり分類が、組合せ的グラフ分割を、全アービトラリー空間 $ℝ^d$ に効果的に拡張できるかを検討すること。
• 学習ベースの空間分割が、精度と効率の両面で、従来のインデキシング手法を上回れることを実証すること。

提案手法

• データセットのk-近傍（k-NN）グラフ $G$ を構築する。ここで各点は、そのk個の近傍点と接続される。
• KaHIPを用いてバランスの取れたグラフ分割を適用し、$G$ をほぼ同じサイズの $m$ 個の部分に分割しながら、部分間のエッジ数を最小化する。
• 分割ラベルをターゲットとして用い、データ点上で教師あり分類器（例：ロジスティック回帰またはニューラルネットワーク）を訓練し、分割を $ℝ^d$ 全体に拡張する。
• 得られた分類器を用いて、任意のクエリ点をビンに割り当て、そのビン（および近隣のビン）内のすべてのデータ点を候補として取得する。
• 一般化性とロバスト性を向上させるために、ソフトラベル（温度スケーリング）を用いて分類器を最適化する。
• このフレームワークは汎用的であり、さまざまなパーティショナと分類器で実装可能で、標準的なNNSベンチマークでの実証的評価が行われている。

実験結果

リサーチクエスチョン

• RQ1 教師あり機械学習技術を用いることで、従来の非教師ありまたはデータに無関係な手法と比較して、近傍探索のための空間分割を改善できるか？
• RQ2 k-NNグラフを分割し、分類によって拡張することで、既存のインデキシング手法と比較して、より優れたNNS性能が得られるか？
• RQ3 k-NNグラフにおける $k$ の値の選択が、得られる分割の質および検索精度にどのように影響するか？
• RQ4 分類器の訓練時にソフトラベルを使用することで、分割スキームの一般化性とロバスト性が向上するか？
• RQ5 このフレームワークは非ユークリッド空間へ拡張可能か、アンサンブル手法と組み合わせることでさらなる性能向上が見込めるか？

主な発見

• Neural LSHは、GloVeおよびSIFTデータセットの両方において、k-均値法やPCAツリーを常に上回り、k-NN精度と候補集合サイズの両面で優れた性能を示す。
• SIFTデータセットでは、Neural LSHは平均的な候補数でk-均値法と同等の性能を達成するが、95パーセンタイル性能では顕著に優れている。
• GloVeでは、$k=50$ のNeural LSHが、10-NNグラフを使用しても、$k=50$ のk-均値法を上回る性能を示しており、$k$ の選択に対して高いロバスト性を示している。
• ソフトラベルの温度 $S=15$ に設定すると、$S=1$ に比べて著しく優れた結果が得られ、$S=15$ を超えると利得の減少が顕著になる。
• Neural LSHは、ランダム射影ツリーに著しく優れており、それらは本質的に確率的であり、精度向上にはアンサンブルが必要である。
• このフレームワークは良好に一般化される：分割の平均k-NN精度は、分割間で切断されるk-NNエッジの割合と直接関係しており、理論的基盤の妥当性が裏付けられる。