[論文レビュー] The Role of Local Intrinsic Dimensionality in Benchmarking Nearest Neighbor Search

Martin Aumüller, Matteo Ceccarello|arXiv (Cornell University)|Jul 17, 2019

Data Management and Algorithms参考文献 25被引用数 10

ひとこと要約

本稿では、近傍探索のクエリ難易度を予測する指標としての局所的内在次元（LID）を調査し、LIDが難易度のスケーリングが可能なクエリセットの選択を可能にすることを示している。LIDが高くなるほど、HNSW、FAISS-IVF、Annoy、ONNGの4つの近傍探索アルゴリズムすべてで性能が悪化することを示しており、グラフベースの手法は二値のリCALL動作を示すのに対し、他の手法は連続的な性能遷移を示す、新たな可視化手法を導入している。

ABSTRACT

This paper reconsiders common benchmarking approaches to nearest neighbor search. It is shown that the concept of local intrinsic dimensionality (LID) allows to choose query sets of a wide range of difficulty for real-world datasets. Moreover, the effect of different LID distributions on the running time performance of implementations is empirically studied. To this end, different visualization concepts are introduced that allow to get a more fine-grained overview of the inner workings of nearest neighbor search principles. The paper closes with remarks about the diversity of datasets commonly used for nearest neighbor search benchmarking. It is shown that such real-world datasets are not diverse: results on a single dataset predict results on all other datasets well.

研究の動機と目的

• 本稿の目的は、LIDが近傍探索におけるクエリ難易度の信頼できる指標として機能するかどうかを評価することである。
• 本研究では、実世界のデータセットにおけるLIDの分布が、最先端の近傍探索アルゴリズムの性能に与える影響を評価することを目的としている。
• 本研究では、既存のベンチマークデータセットが、アルゴリズムの強みや弱みを十分に露呈できるほど多様性を持っているかどうかを検討している。
• 本研究では、NNアルゴリズムの挙動に隠れた性能パターンを明らかにするために、新たな可視化技術を導入している。

提案手法

• 著者らは、k=100近傍を用いたMLE推定法により、各クエリ点の局所的内在次元（LID）を推定している。
• LID値に基づいてクエリセットを構築し、低LID、中LID、高LID、多様なLID推定値を持つ点を選択することで、制御された性能評価を実施している。
• HNSW、FAISS-IVF、Annoy、ONNGの4つの最先端近傍探索実装を、複数の実世界データセット上でベンチマーク評価している。
• 本稿では、六角形ボックスによるヒストグラムを用いたLID密度とリCALLの関係を可視化する、新たな可視化手法を導入している。
• 本研究では、データセットおよびクエリセットごとの平均性能指標（スループット、リCALL）を比較し、性能のばらつきを分析している。
• 著者らは、あるデータセットでの性能が他のデータセットでの性能を予測できるかどうかを評価することで、ベンチマークデータセットの多様性を分析している。

実験結果

リサーチクエスチョン

• RQ1 局所的内在次元（LID）を用いることで、近傍探索におけるクエリセットの難易度をどの程度制御できるか？
• RQ2 データセット全体におけるLIDの分布が、異なる近傍探索アルゴリズムの実行時間およびリCALL性能にどのように影響を与えるか？
• RQ3 グラフベースの近傍探索アルゴリズム（例：HNSW、ONNG）は、ベクタ量子化法や木構造ベースの手法と比較して、LIDの変化に伴い根本的に異なる性能挙動を示すか？
• RQ4 一般的に使用されている近傍探索用ベンチマークデータセットは、異なるアルゴリズム的アプローチの相対的強み・弱みを十分に露呈できるほど多様性を持っているか？
• RQ5 新たな可視化手法により、平均性能指標では見えにくい、二値的リCALL挙動と連続的リCALL挙動の隠れたパターンを明らかにできるか？

主な発見

• 高い局所的内在次元（LID）は、テストした4つの近傍探索実装すべてで一貫して性能の悪化と相関しており、LIDがクエリ難易度の強力な予測要因であることが示された。
• グラフベースのアルゴリズム（HNSWおよびONNG）の性能は二値的挙動を示す：すべての真の近傍点を取得するか、まったく取得しないかのどちらかである。これに対してFAISS-IVFやAnnoyでは連続的な性能遷移が観察された。
• LIDの分布に違いがあるにもかかわらず、4つのアルゴリズムの相対的性能順位はデータセット間で一貫しており、現在のベンチマークデータセットに十分な多様性がないことが示唆された。
• 六角形ボックスによるLID密度とリCALLの可視化手法により、高LIDクエリは低リCALLを示す傾向にあり、平均指標では見えない性能の不確実性が露呈された。
• 本研究では、SIFTはGLOVEよりもすべてのアルゴリズムで容易であることが判明したが、これはLID分布だけでは予測できない結果であり、LIDだけでは相対的性能を十分に予測できないことが示された。
• 多様なLID値を含むクエリセットを構築することで、ランダムサンプリングに比べてより情報量の多いベンチマークが得られ、容易なクエリと困難なクエリのバランスの取れた混合が可能となり、アルゴリズムの適応性の評価がより的確に行えるようになった。