[論文レビュー] Fast and Exact Top-k Search for Random Walk with Restart

Yasuhiro Fujiwara, Makoto Nakatsuji+2 more|arXiv (Cornell University)|Jan 31, 2012

Caching and Content Delivery参考文献 21被引用数 7

ひとこと要約

本稿では、ランダムウォークリスタート（RWR）における正確かつ効率的なトップ-k検索のための新規アルゴリズムK-dashを提案する。スパース行列計算と木ベースの近接度推定に基づく刈り込み戦略を活用することで、正確な結果を保証しつつ、線形時間未満の検索時間を達成し、従来の近似手法よりも最大1,020倍高速に動作する。

ABSTRACT

Graphs are fundamental data structures and have been employed for centuries to model real-world systems and phenomena. Random walk with restart (RWR) provides a good proximity score between two nodes in a graph, and it has been successfully used in many applications such as automatic image captioning, recommender systems, and link prediction. The goal of this work is to find nodes that have top-k highest proximities for a given node. Previous approaches to this problem find nodes efficiently at the expense of exactness. The main motivation of this paper is to answer, in the affirmative, the question, `Is it possible to improve the search time without sacrificing the exactness?'. Our solution, {it K-dash}, is based on two ideas: (1) It computes the proximity of a selected node efficiently by sparse matrices, and (2) It skips unnecessary proximity computations when searching for the top-k nodes. Theoretical analyses show that K-dash guarantees result exactness. We perform comprehensive experiments to verify the efficiency of K-dash. The results show that K-dash can find top-k nodes significantly faster than the previous approaches while it guarantees exactness.

研究の動機と目的

• 大規模グラフにおけるクエリノードに最も類似するトップ-kノードを、ランダムウォークリスタート（RWR）を用いて効率的に特定することに挑戦する。
• 性能を犠牲にすることなく正確な結果を得ることを目的とし、従来の近似RWR手法における速度と正確性のトレードオフを是正する。
• パラメータチューニングの必要性を排除し、完全に自動的かつユーザーフレンドリーな手法を実現する。
• 時間計算量と空間計算量をともにO(n + m)に低減する——ここでnはノード数、mはエッジ数であり、大規模グラフへのスケーラビリティを実現する。

提案手法

• K-dashはスパース行列表現を用いて、正確なRWR近接度を効率的に計算し、計算オーバーヘッドを最小限に抑える。
• 逆行列内の非ゼロ要素数を削減するための新規な再配置戦略（次数、クラスタ、ハイブリッド）を適用し、スパarsityを向上させ、性能を向上させる。
• 木ベースの推定技術を用いて、完全な計算を伴わずに近接度スコアを予測し、低確率ノードの早期刈り込みを可能にする。
• 候補ノードの優先度キューを動的に維持し、木推定から得られる上界を用いて、不要な近接度計算をスキップする。
• グラフの分割から得られる下三角／上三角行列の逆行列を事前計算することで、オンライン検索を加速する。
• Louvain法に基づく分割方式を統合し、構造的局所性を活用することで、分割間エッジの計算をさらに削減する。

実験結果

リサーチクエスチョン

• RQ1 正確なトップ-k RWR検索を、従来の近似手法よりも著しく高速に実行できるか？正確性を損なわずに行えるか？
• RQ2 正確性を保証しつつ、近接度計算の回数を削減できる刈り込み戦略を設計できるか？
• RQ3 スパース行列技術とグラフ再配置をどのように組み合わせれば、RWRベースの検索における時間・空間計算量を最小限に抑えられるか？
• RQ4 パラメータフリーで完全に自動化された手法を設計できるか？これにより、従来のアプローチで一般的に見られるユーザーチューニングパラメータの必要性を排除できるか？
• RQ5 本手法の性能は、エッジ分布が異なる多様な実世界のグラフデータセットにおいて、どの程度スケーリング可能か？

主な発見

• 刈り込み手法を適用した場合、K-dashはベースライン手法に比べ最大1,020倍の高速化を達成し、従来の近似手法を著しく上回る。
• ハイブリッド再配置戦略により、逆行列内の非ゼロ要素数がエッジ数に近づき、O(m)の空間計算量を達成する。
• ランダム再配置に比べ、事前計算時間が最大140倍短縮される——これはスパarsityの向上と分割間エッジ計算の排除によるものである。
• 推定に基づく刈り込みを用いても正確性が保たれ、トップ-k結果に誤検出（偽陽性）が生じない。
• K-dashは、ソーシャルネットワーク、引用グラフ、ウェブグラフを含む多様なデータセットにおいて、一貫した性能向上を示し、効率的なスケーリングを実現する。
• 本手法はユーザ定義パラメータを一切必要とせず、完全に自動化されており、実世界の展開において実用的である。