[論文レビュー] Towards Similarity Graphs Constructed by Deep Reinforcement Learning

Dmitry Baranchuk, Artem Babenko|arXiv (Cornell University)|Nov 27, 2019

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 9

ひとこと要約

本論文は、隣接行列内のエッジ確率を学習することで、検索効率を明示的に最適化する強化学習（RL）ベースの手法を提案する。グラフ構築をRL問題として定式化することにより、同じ距離計算回数の下でヒューリスティックベースラインを上回るリCALLを達成し、GloVe1Mで88%のリCALL@1において0.4%の向上を達成するなど、複数のベンチマークで最先端の性能を発揮する。

ABSTRACT

Similarity graphs are an active research direction for the nearest neighbor search (NNS) problem. New algorithms for similarity graph construction are continuously being proposed and analyzed by both theoreticians and practitioners. However, existing construction algorithms are mostly based on heuristics and do not explicitly maximize the target performance measure, i.e., search recall. Therefore, at the moment it is not clear whether the performance of similarity graphs has plateaued or more effective graphs can be constructed with more theoretically grounded methods. In this paper, we introduce a new principled algorithm, based on adjacency matrix optimization, which explicitly maximizes search efficiency. Namely, we propose a probabilistic model of a similarity graph defined in terms of its edge probabilities and show how to learn these probabilities from data as a reinforcement learning task. As confirmed by experiments, the proposed construction method can be used to refine the state-of-the-art similarity graphs, achieving higher recall rates for the same number of distance computations. Furthermore, we analyze the learned graphs and reveal the structural properties that are responsible for more efficient search.

研究の動機と目的

• 現在、一般化性に限界のあるヒューリスティック手順に依存しているが、理論的裏付けのある類似グラフ構築手法の欠如に取り組む。
• 固定された計算予算の下で、最近傍探索（NNS）性能を最大化するように、グラフ構造を明示的に最適化すること。
• 強化学習が大規模なNNS用グラフ構築に効果的に適用可能かどうかを検証すること。
• 改善されたヒューリスティックベースのアプローチを上回る、学習されたグラフの構造的特性を分析すること。

提案手法

• 本手法は、隣接行列から導出されるエッジ確率を用いて、類似グラフを確率的かつモデル化する。
• グラフ構築を強化学習タスクとして定式化し、エージェントが訓練クエリのセットに対して検索リCALLを最大化するようにエッジ確率を最適化する。
• エージェントは、検索性能からのフィードバックに基づいてエッジ確率を調整するため、ポリシー勾配法を用いて訓練される。
• 本手法は、既存のグラフ（例：NSW、HNSW）に対してリファインメントステップとして適用され、データ構造自体を変更せずにナビゲーション特性を向上させる。
• 頂点の訪問頻度を測定することで、グラフの性質を分析し、ナビゲーションハブとしての機能を果たす頂点を同定する。
• 比較のため、訪問頻度としきい値を最適化して得られるエッジ重みに基づくマグニチュードベースのプルーニングベースラインを用いる。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック手法を超えて、強化学習を類似グラフ構造の最適化に効果的に適用できるか。
• RQ2 グラフのどの構造的特性が検索効率の向上に寄与するか、そしてそれらを自動的に学習できるか。
• RQ3 検索リCALLを明示的に最適化することで、多様なデータセットにおけるリCALL@kに測定可能な向上が得られるか。
• RQ4 本手法は、マグニチュードベースのプルーニングのようなヒューリスティックなリファインメント手法と比較して、どのように差をつけるか。
• RQ5 学習されたグラフがどの程度、専用ナビゲーション頂点を示すようになるか、そしてその特徴がパフォーマンス向上とどのように関連するか。

主な発見

• RLベースの手法は、すべてのデータセットで検索リCALLを向上させ、特に挑戦的なGloVe1Mデータセットで88%のリCALL@1において最大0.4%の向上を達成する。
• すべてのデータセットにおいて、最適化されたNSWグラフはHNSWを上回るか、同等の性能を発揮しており、最適なナビゲーションが達成された場合、HNSWに見られる階層的構造が冗長である可能性を示唆する。
• 学習されたグラフは、頂点の訪問頻度がより鋭い分布を示しており、ナビゲーションをより効果的に導く専用ナビゲーションハブが出現していることを示している。
• RLエージェントは、各クエリに対して単一の最適な初期頂点を選択する能力を学習し、初期探索コストをたった1回の距離計算にまで削減する。
• マグニチュードベースのプルーニングは効果的ではあるが、DEEP1Mにおいて、距離計算の予算にかかわらず、RL手法に劣る。
• RLリファインメントの後にマグニチュードプルーニングを適用することで、さらなるパフォーマンス向上が得られ、両手法が補完的であることが示された。