[論文レビュー] ANN-Benchmarks: A Benchmarking Tool for Approximate Nearest Neighbor Algorithms

Martin Aumüller, Erik Bernhardsson+1 more|arXiv (Cornell University)|Jul 15, 2018

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

ANN-Benchmarks は、多様なデータセットと品質メトリクスを対象に、近似最近傍（ANN）アルゴリズムを自動的かつ標準化された形で評価するためのフレームワークである。HNSW や FAISS-IVF といったアルゴリズムの系統的比較を可能にし、複数のパラメータ設定をテストすることで、高リコール条件下でグラフベースの手法が他の手法を上回ることを明らかにした。また、新たなメトリクスや自動チューニング研究をサポートする拡張性を備えている。

ABSTRACT

This paper describes ANN-Benchmarks, a tool for evaluating the performance of in-memory approximate nearest neighbor algorithms. It provides a standard interface for measuring the performance and quality achieved by nearest neighbor algorithms on different standard data sets. It supports several different ways of integrating $k$-NN algorithms, and its configuration system automatically tests a range of parameter settings for each algorithm. Algorithms are compared with respect to many different (approximate) quality measures, and adding more is easy and fast; the included plotting front-ends can visualise these as images, $\LaTeX$ plots, and websites with interactive plots. ANN-Benchmarks aims to provide a constantly updated overview of the current state of the art of $k$-NN algorithms. In the short term, this overview allows users to choose the correct $k$-NN algorithm and parameters for their similarity search task; in the longer term, algorithm designers will be able to use this overview to test and refine automatic parameter tuning. The paper gives an overview of the system, evaluates the results of the benchmark, and points out directions for future work. Interestingly, very different approaches to $k$-NN search yield comparable quality-performance trade-offs. The system is available at http://ann-benchmarks.com .

研究の動機と目的

• 多様なデータセットとメトリクスを対象とした近似最近傍アルゴリズムの標準的かつ再現可能な評価の欠如に対処すること。
• 複数のアルゴリズム実装とパラメータ設定をサポートする統一的で自動化されたベンチマーキングシステムを提供すること。
• 研究者や実務家が特定の類似検索タスクに最適なアルゴリズムとパラメータを選択できるようにすること。
• 自己チューニングアルゴリズムの評価を可能にするベンチマーキングモードを提供することで、将来の自動パラメータチューニング研究を支援すること。
• Jaccard 距離などの新たなメトリクスや、バッチクエリなどの新たなクエリパターンへのベンチマーキングの拡張を図ること。

提案手法

• k-NN アルゴリズムの統合を可能にする標準インターフェースを提供し、入出力およびパラメータ処理を抽象化する。
• 構成可能なシステムを用いて、各アルゴリズムに対して広範なパラメータ設定の自動テストを実施する。
• 複数の品質指標（例：リコール、QPS）を用いて性能を評価し、インタラクティブなプロットと LaTeX 出力による可視化を実施する。
• ユークリッド距離やコサイン距離を含むさまざまな距離メトリクスをサポートしており、集合類似度に適した Jaccard 距離のような新しいメトリクスへの拡張も可能である。
• アルゴリズムが小さなデータセットサブセット上で自己チューニングを行うベンチマーキングモードを備えている。
• 詳細な実行データを保存することで、平均性能を超えた後続分析（例：クエリ時間の分散）が可能である。

Figure 2 . Overview of the interaction between ANN-Benchmarks and an algorithm instance under test.

実験結果

リサーチクエスチョン

• RQ1 標準データセット上で、さまざまな近似最近傍アルゴリズムのリコールとクエリパフォーマンス（QPS）における性能はどのように異なるか？
• RQ2 インデックスサイズや構築設定などのアルゴリズムパラメータを変化させた場合、品質とパフォーマンスのトレードオフにどのような影響を与えるか？
• RQ3 グラフベース、ツリー基地、LSH などの異なるアルゴリズム的アプローチの中で、多様なデータセットにおいてスピードとリコールのバランスを最も良く達成するのはどれか？
• RQ4 実世界データとランダムデータの間で、データセットの構造的性質（例：構造的性質）に差があると、アルゴリズムの挙動とパフォーマンスにどのような影響を与えるか？
• RQ5 このフレームワークは、ANN アルゴリズムの自動パラメータチューニング戦略のサポートと評価を可能にするか？

主な発見

• HNSW や KGraph といったグラフベースのアルゴリズムは、特に複雑なデータセットにおいて、高リコールレベルで他の手法を上回る性能を示した。
• 高リコールを達成するには、大きなインデックスが一般的に優れたパフォーマンスをもたらし、クエリパラメータの選択に強く依存しなくなる傾向がある。
• 難易度の高いクエリを含むデータセットでは、グラフベース手法のインデックス構築時間が主要なボトルネックとなる。
• ランダムデータセットでは、アルゴリズムの挙動が顕著に分離するため、データセットの構造がパフォーマンスに強く影響することが示唆された。
• フレームワークにより、一貫性があり再現可能な評価が可能となり、非常に異なるアルゴリズム的アプローチでも同等の品質パフォーマンストレードオフを達成できることを明らかにした。
• Jaccard 距離における集合類似度のための初期的サポートは存在するが、このメトリクス用のアルゴリズム実装はまだ不足している。

Figure 3 . Interactive plot screen from framework’s website (cropped). Plot shows “Queries per second” ( $y$ -axis, log-scaled) against “Recall” ( $x$ -axis, not shown). Highlighted data point corresponds to a run of Annoy with parameters as depicted, giving about 1249 queries per second for a recal