[論文レビュー] Understanding and Improving Proximity Graph based Maximum Inner Product Search

Jie Liu, Yan Xiao+4 more|arXiv (Cornell University)|Sep 30, 2019

Data Management and Algorithms参考文献 23被引用数 5

ひとこと要約

この論文は、最大内積探索（MIPS）における強いノルムバイアスを特定し、高ノルムのアイテムが結果を支配することを明らかにしている。また、ip-NSWの優れた性能は、そのグラフ構造が高ノルムアイテムを優先することでこのバイアスを強化していることに起因することを説明している。より頑健な性能を実現するため、著者らはip-NSW+を提案する。この手法はまず方向類似性の近接グラフを用いて、クエリと方向が類似するアイテムを特定し、その後内積に基づく探索を実行することで、不要な計算を著しく削減し、多様なデータ分布においてip-NSWを上回る性能を達成する。

ABSTRACT

The inner-product navigable small world graph (ip-NSW) represents the state-of-the-art method for approximate maximum inner product search (MIPS) and it can achieve an order of magnitude speedup over the fastest baseline. However, to date it is still unclear where its exceptional performance comes from. In this paper, we show that there is a strong norm bias in the MIPS problem, which means that the large norm items are very likely to become the result of MIPS. Then we explain the good performance of ip-NSW as matching the norm bias of the MIPS problem - large norm items have big in-degrees in the ip-NSW proximity graph and a walk on the graph spends the majority of computation on these items, thus effectively avoids unnecessary computation on small norm items. Furthermore, we propose the ip-NSW+ algorithm, which improves ip-NSW by introducing an additional angular proximity graph. Search is first conducted on the angular graph to find the angular neighbors of a query and then the MIPS neighbors of these angular neighbors are used to initialize the candidate pool for search on the inner-product proximity graph. Experiment results show that ip-NSW+ consistently and significantly outperforms ip-NSW and provides more robust performance under different data distributions.

研究の動機と目的

• ip-NSWが理想のデローランのグラフの近似であるにもかかわらず、近似的なMIPSで最先端の性能を達成する理由を理解すること。
• ip-NSWの性能の背後にある要因、特にデータ分布およびノルム特性との相互作用を調査すること。
• ノルム分布が偏った状況でip-NSWの性能が低下するのを是正するため、より頑健な探索戦略を設計すること。
• 高ノルムで低関連性のアイテムに対する不要な計算を削減しつつ、高いリCALLを維持する新しいアルゴリズムを開発すること。

提案手法

• 著者らはMIPSにおける強いノルムバイアスを同定・定量し、4つのデータセットで上位5%のノルムアイテムがトップ10結果の最大100%を占めることを示した。
• ip-NSWのグラフ構造を分析し、高ノルムアイテムが顕著に高いインデグリーレートを持つことを実証した。これにより、低ノルム候補を飛ばす計算が効率的に行われることが説明できる。
• 提案されたip-NSW+は、まず方向類似性の近接グラフを別途構築し、クエリと方向が類似するアイテムを特定する。
• 内積探索の候補アイテムは、この方向類似性の近傍から初期化されるため、高ノルムで低関連性のアイテムの評価数が削減される。
• 2段階の探索を実行する：まず方向類似性グラフ上で有望な候補を特定し、次にその候補を初期プールとして内積近接グラフ上で探索を実行する。
• ノルム分布の変化にもかかわらず一貫した性能を示すため、ip-NSW+はノルム分布シフトに対して頑健であることが示された。

実験結果

リサーチクエスチョン

• RQ1 ip-NSWが理想のデローラングラフの近似であるにもかかわらず、近似的なMIPSでなぜこれほど高い性能を発揮するのか？
• RQ2 ip-NSWの性能は、データセットのノルム分布にどの程度依存しているのか？
• RQ3 ip-NSWにおけるノルムバイアスを活用または是正することで、探索効率と頑健性を向上させられるか？
• RQ4 方向類似性情報を取り入れることで、MIPSにおける候補選定が改善され、計算量が削減されるか？

主な発見

• MIPS問題には強いノルムバイアスが存在する：4つのデータセットにおいて、ノルム上位5%のアイテムが、歪みのないノルム分布でもトップ10のMIPS結果の87.5%から100%を占めた。
• ip-NSWの性能は、そのグラフ構造に起因する。高ノルムアイテムが高インデグリーレートを持つため、ウォークが最も有望な候補に集中する。
• ip-NSW+は、リCALLあたりの類似度関数評価回数という観点で、ip-NSWを著しく上回る性能を発揮し、ノルム分布の変化にかかわらず優れた性能を示す。
• ip-NSW+は、異なるノルム分布（TF 2.05～1.37）を持つImageNetの変種においても一貫した性能を発揮するが、ip-NSWはノルムの偏りが大きくなると性能が低下する。
• ip-NSW+の性能は、方向グラフのパラメータ$M$および$l$の選定に頑健であり、最適な性能は$M=10$、$l=10$で達成される。
• 方向近傍を用いて候補プールを初期化することで、内積評価が高精度なMIPS結果をもたらす可能性の高いアイテムに集中され、無駄な計算が削減される。