[論文レビュー] Supervised and Extended Restart in Random Walks for Ranking and Link Prediction in Networks

Woojeong Jin, Jinhong Jung+1 more|arXiv (Cornell University)|Oct 18, 2017

Complex Network Analysis Techniques参考文献 24被引用数 3

ひとこと要約

本稿では、ノードごとに独自のリスタート確率を割り当てることで、ランク付けとリンク予測における表現力の向上を図る、個人化された関連スコアリング手法である拡張リスタート付きランダムウォーク（RWER）を提案する。また、データから最適なリスタート確率を自動で学習する教師あり学習手法SuReを導入し、リンク予測タスクにおいて、最良の競合手法よりも最大15.8%高いMAPを達成した。

ABSTRACT

Given a real-world graph, how can we measure relevance scores for ranking and link prediction? Random walk with restart (RWR) provides an excellent measure for this and has been applied to various applications such as friend recommendation, community detection, anomaly detection, etc. However, RWR suffers from two problems: 1) using the same restart probability for all the nodes limits the expressiveness of random walk, and 2) the restart probability needs to be manually chosen for each application without theoretical justification. We have two main contributions in this paper. First, we propose Random Walk with Extended Restart (RWER), a random walk based measure which improves the expressiveness of random walks by using a distinct restart probability for each node. The improved expressiveness leads to superior accuracy for ranking and link prediction. Second, we propose SuRe (Supervised Restart for RWER), an algorithm for learning the restart probabilities of RWER from a given graph. SuRe eliminates the need to heuristically and manually select the restart parameter for RWER. Extensive experiments show that our proposed method provides the best performance for ranking and link prediction tasks, improving the MAP (Mean Average Precision) by up to 15.8% on the best competitor.

研究の動機と目的

• 従来のランダムウォークリスタート（RWR）における固定リスタート確率の制限を解消し、ノード関連度の測定における表現力を向上させること。
• RWRにおけるヒューリスティックで手動によるリスタート確率の選定を回避するため、データ駆動型の学習アプローチを開発すること。
• クエリノードが異なるリスタート確率を通じて好みを表現できるようにすることで、ランク付けとリンク予測の精度を向上させること。
• 過学習を回避しながらも、現実のグラフで高い性能を維持できるスケーラブルで頑健な学習アルゴリズムを設計すること。

提案手法

• 各ノードに固有のリスタート確率を有するRWRの一般化であるRWERを提案。ノード固有の好みに基づいてランダムウォーク行動を微調整可能となる。
• 関連スコアの計算を、ノード固有のリスタート確率を含むパーソナライズド遷移行列を用いた一次方程式系として定式化。
• 教師あり学習フレームワークであるSuReを導入。真のリンクやランクに基づく微分可能な目的関数を用いて、リスタート確率を最適化する。
• 過学習を防ぎ、特に低データ環境での一般化性能を向上させるために、SuReにオリジナルベクトルを正則化項として組み込む。
• ミニバッチサンプリングを用いた確率的最適化により、大規模グラフへのスケーラビリティを確保。エッジ数に対してほぼ線形時間計算量を達成。
• 下流タスクにおける予測精度を最大化するように、パーソナライズドランダムウォークの力を活用してリスタート確率を学習すること。

実験結果

リサーチクエスチョン

• RQ1 各ノードに異なるリスタート確率を割り当てることで、グラフ上のランダムウォークベースの関連スコアリングの表現力と精度が向上するか？
• RQ2 グラフ構造を変更せずに、リスタート確率をデータから自動で学習する方法は何か？ これにより、ヒューリスティックまたは固定パrameter手法を上回る性能が得られるか？
• RQ3 提案手法であるSuReは、リンク予測やノードランク付けといった多様なグラフタイプとタスクに一般化できるか？
• RQ4 SuReにおけるオリジナルベクトル正則化の影響は、モデルの安定性と一般化性能にどのような効果をもたらすか？
• RQ5 大規模ネットワークにおいて、SuReのスケーラビリティは、既存の学習ベースおよび従来のRWR手法と比較してどうか？

主な発見

• SuReは、リンク予測タスクにおいて、最良の既存手法と比較して、平均平均精度（MAP）を最大15.8%向上させた。
• SuReは、最良の競合手法と比較して、Precision@20を最大10.1%向上させ、トップ-kランク付けにおいて優れた性能を示した。
• SuReにオリジナルベクトルを組み込むことで、性能が顕著に向上し、特に低データ環境での過学習が著しく低減された。
• SuReはエッジ数に対してほぼ線形にスケーリングされ、勾配の傾きは0.76であり、他の学習ベース手法（SRW や QUINT）と比較して、効率性において優れた性能を示した。
• 学習済みリスタート確率を用いたRWERは、すべての評価済みデータセットとタスクにおいて、標準RWRおよび他の教師あり手法を一貫して上回った。
• 本手法はパrameter選択に対して頑健であり、Polblogs、HepTh、Wikipediaといった異なるデータセットにおいても安定した性能を示した。