[論文レビュー] Supervised Random Walks: Predicting and Recommending Links in Social Networks

Lars Bäckström, Jure Leskovec|arXiv (Cornell University)|Nov 17, 2010

Complex Network Analysis Techniques参考文献 30被引用数 122

ひとこと要約

本論文は、ノードおよびエッジの属性とネットワーク構造を統合することで、将来のリンクに向けたランダムウォークを誘導するエッジ重みを学習する、新しいリンク予測および推薦手法であるSupervised Random Walks (SRW)を提案する。SRWは、手動による特徴抽出を必要とせず、共同著者ネットワークではトップ20の精度において最大12%の相対的改善を達成し、Facebookでは11%の改善を示した。これは、教師ありでない手法や特徴工学を施したモデルを上回る性能を発揮する。

ABSTRACT

Predicting the occurrence of links is a fundamental problem in networks. In the link prediction problem we are given a snapshot of a network and would like to infer which interactions among existing members are likely to occur in the near future or which existing interactions are we missing. Although this problem has been extensively studied, the challenge of how to effectively combine the information from the network structure with rich node and edge attribute data remains largely open. We develop an algorithm based on Supervised Random Walks that naturally combines the information from the network structure with node and edge level attributes. We achieve this by using these attributes to guide a random walk on the graph. We formulate a supervised learning task where the goal is to learn a function that assigns strengths to edges in the network such that a random walker is more likely to visit the nodes to which new links will be created in the future. We develop an efficient training algorithm to directly learn the edge strength estimation function. Our experiments on the Facebook social graph and large collaboration networks show that our approach outperforms state-of-the-art unsupervised approaches as well as approaches that are based on feature extraction.

研究の動機と目的

• 動的ソーシャルネットワークにおける正確なリンク予測のため、豊富なノードおよびエッジ属性とネットワーク構造を統合する課題に対処すること。
• Random Walk with Restarts (RWR)のような教師なし手法の限界を克服し、属性情報を活用できないこと。
• 手作業による特徴工学を排除し、構造的および属性ベースの信号を一貫した方法ですべての重みを直接学習する。
• 最先端の手法を上回るリンク予測および推薦性能を実現する、スケーラブルでエンドツーエンドの学習フレームワークを開発すること。

提案手法

• エッジ強度（遷移確率）を学習することで、ランダムウォークを将来のターゲットノードに偏らせるようにする、教師あり学習としてのリンク予測の定式化。
• ノードおよびエッジ属性を用いてエッジ重みをパrameter化し、ランダムウォークが構造的および属性ベースの信号によって誘導されるようにする。
• 正の（将来のリンクとなる）ノードを頻繁に訪問するよう促す損失関数を最小化するため、準ニュートン最適化法を用いてモデルを訓練する。
• 重み付きグラフ上でPageRankに類似したスコアを計算し、ノードペア間の将来のリンク形成の確率を推定する。
• すべてのパスを介してエッジ特徴を平均化することで、ソースノードと候補先ノード間のパスベース特徴を統合する。
• PageRankスコアのエッジ重みに関する勾配を微分可能フレームワークで計算し、効率的なパrameter学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノードおよびエッジ属性をネットワーク構造と効果的に統合することで、教師なし手法を上回るリンク予測を実現する方法は何か？
• RQ2 特徴工学を必要とする従来の特徴ベースモデルと比較して、教師ありランダムウォークフレームワークはどの程度優れているか？
• RQ3 構造的および属性レベルの情報を手作業による特徴抽出を伴わずに自然に統合できる統一された学習フレームワークを設計できるか？
• RQ4 時間的要因、類似度ベースの要因など、ノードおよびエッジ特徴の種類が実世界のネットワークにおける予測性能にどのように寄与するか？
• RQ5 Facebookのような大規模ネットワークにおいて、複数のエッジ重みパrameterを学習する際のスケーラビリティと実行時間のトレードオフは何か？

主な発見

• Supervised Random Walksは、FacebookおよびHep-Ph共同著者ネットワークにおいてAUCが0.7～0.8、トップ20の精度が4.2～7.6を達成し、優れた予測性能を示した。
• 共同著者ネットワークでは、ロジスティック回帰や他の特徴ベースモデルと比較して、AUCで6%の相対的改善、トップ20の精度で12%の相対的改善を達成した。
• Facebookネットワークでは、RWRがすでにほぼ最適に近い性能を示していたにもかかわらず、SRWはRWRよりトップ20の精度で11%の相対的改善を達成した。
• SRWは、教師なしのRWRおよび他のすべてのテストされた手法（ロジスティック回帰を含む）を上回り、手作業による特徴工学を一切必要としなかった。
• 本手法は、Facebookでは時間的特徴が最も影響力が強く、共同著者ネットワークでは共同著者頻度およびタイトル類似度が最も重要であることを示した。
• Facebookデータセットでの学習は、8つのエッジ重みで96分、48つの重みで13時間かかった。これは、中程度の学習オーバーヘッドで大規模ネットワークにスケーラブルであることを示している。