[論文レビュー] Learning to Route in Similarity Graphs

Dmitry Baranchuk, Dmitry Persiyanov+2 more|arXiv (Cornell University)|May 27, 2019

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本稿では、局所的最小値を低減するために、真の近傍点へと誘導するようにトレーニングされた頂点表現を用いて、類似度グラフにおける学習可能ルーティングを提案する。インスティチューション学習を用いてルーティング方針を最適化することで、同じ計算予算下でもベースラインのグラフに比べて顕著に高い再現率（最大9.4%の向上）を達成する。

ABSTRACT

Recently similarity graphs became the leading paradigm for efficient nearest neighbor search, outperforming traditional tree-based and LSH-based methods. Similarity graphs perform the search via greedy routing: a query traverses the graph and in each vertex moves to the adjacent vertex that is the closest to this query. In practice, similarity graphs are often susceptible to local minima, when queries do not reach its nearest neighbors, getting stuck in suboptimal vertices. In this paper we propose to learn the routing function that overcomes local minima via incorporating information about the graph global structure. In particular, we augment the vertices of a given graph with additional representations that are learned to provide the optimal routing from the start vertex to the query nearest neighbor. By thorough experiments, we demonstrate that the proposed learnable routing successfully diminishes the local minima problem and significantly improves the overall search performance.

研究の動機と目的

• 類似度グラフにおけるグリーディルーティングで、クエリが部分的最適な頂点に閉じ込められる問題に対処すること。
• ルーティング意思決定にグローバルなグラフ構造を取り入れることで、高次元データにおける検索精度を向上させること。
• 任意の開始頂点から最近傍点へ至る最適なルーティング経路を誘導するコンactな頂点表現を学習すること。
• 複雑なグラフトポロジーでは失敗する純粋に局所的で距離に基づくルーティングヒューリスティクスへの依存度を低減すること。
• 固定された計算予算下で、学習可能なルーティングが標準的なグリーディルーティングおよび既存のNNS手法を上回ることを示すこと。

提案手法

• グローバルなルーティングコンテキストを符号化する、学習可能な低次元表現を類似度グラフの各頂点に追加する。
• 教師ありのクエリから最近傍点への経路データセットを用いて、エージェントが最適なルーティング経路を模倣するように、インスティチューション学習を用いてルーティング関数をトレーニングする。
• 畳み込み層とフィードフォワード層を備えた深層ニューラルネットワーク $f_{\theta}(\cdot)$ を用い、頂点特徴をルーティングスコアにマッピングする。
• トップ-$k$ 選択と全経路ルーティングの監視を組み合わせたマルチコンponent損失を最適化することで、ロバストネスと一般化性能を向上させる。
• 推論時、距離が最も近い隣接頂点ではなく、ルーティングスコアが最大の頂点を選択する、学習されたルーティング方針を適用する。
• 学習を安定化させるために、自己生成経路ではなく最適なルーティング経路を提供する教師強制（teacher forcing）の目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な頂点表現は、局所的最小値を低減することで、類似度グラフにおけるグリーディルーティングを改善できるか？
• RQ2 ルーティング意思決定にグローバルなグラフ構造を組み込むことで、より高い検索精度が得られるか？
• RQ3 学習可能なルーティングは、標準的なグリーディルーティングおよび他の最先端のNNS手法と比較して、どのように性能を発揮するか？
• RQ4 異なるニューラルアーキテクチャおよび学習目的関数が、ルーティング性能に与える影響は何か？
• RQ5 学習可能なルーティングの利点は、次元数が高くなるほど増大するか？

主な発見

• DCS=512の予算下で、GloVe100Kデータセットにおいて、標準的なNSWグラフに比べて、提案手法のRecall@1が9.4%高い。
• SIFT100Kでは、NSG や HNSW を含むすべてのベースラインを上回り、Recall@1が0.949を達成した。
• アブレーションスタディの結果、畳み込みアーキテクチャにフィードフォワードヘッドを組み合わせたモデルが60.4%のRecall@1を達成し、PCA（39.4%）およびフィードフォワードのみのモデル（54.9%）を著しく上回った。
• 完全なインスティチューション学習目的関数（式(4)）を用いた学習は、教師強制（37.7%のRecall@1）よりも優れた結果をもたらした。これは、自己一貫性のあるポリシー学習がより効果的であることを示している。
• トップ-$k$ 選択のみでトレーニングされた場合でも、競争力のある性能を発揮した。これは、部分的監視のもとでもルーティングポリシーが学習可能であることを示唆している。
• 性能向上は特に高次元空間において顕著であり、これは本手法が困難な高次元設定において特に有益であることを確認した。