[論文レビュー] Influence maximization in unknown social networks: Learning Policies for Effective Graph Sampling

Harshavardhan Kamarthi, Priyesh Vijayan+3 more|arXiv (Cornell University)|Jul 8, 2019

Complex Network Analysis Techniques参考文献 27被引用数 8

ひとこと要約

本稿では、未知のネットワークにおける影響力最大化を最適化するために、適応的で転送可能なポリシーを学習する強化学習フレームワーク、Geometric-DQNを提案する。深層グラフ埋め込みとカスタムMDP定式化を活用することで、多様な分野に属する実世界のネットワークにおいて、最先端の手作業によるサンプリング手法よりも7–23%優れた影響力拡散を達成した。

ABSTRACT

A serious challenge when finding influential actors in real-world social networks is the lack of knowledge about the structure of the underlying network. Current state-of-the-art methods rely on hand-crafted sampling algorithms; these methods sample nodes and their neighbours in a carefully constructed order and choose opinion leaders from this discovered network to maximize influence spread in the (unknown) complete network. In this work, we propose a reinforcement learning framework for network discovery that automatically learns useful node and graph representations that encode important structural properties of the network. At training time, the method identifies portions of the network such that the nodes selected from this sampled subgraph can effectively influence nodes in the complete network. The realization of such transferable network structure based adaptable policies is attributed to the meticulous design of the framework that encodes relevant node and graph signatures driven by an appropriate reward scheme. We experiment with real-world social networks from four different domains and show that the policies learned by our RL agent provide a 10-36% improvement over the current state-of-the-art method.

研究の動機と目的

• 完全なネットワーク構造が未知で収集にコストがかかる現実世界のソーシャルネットワークにおける影響力最大化の課題に対処すること。
• コミュニティ構造やフレンドシップパラドックスのような固定された構造的仮定に依存する手作業によるサンプリングヒューリスティクスの限界を克服すること。
• 進化する観測に基づく逐次的グラフサンプリングを通じて、影響力のあるノードを発見する学習可能で適応的なポリシーを開発すること。
• 事前学習済みのグラフ埋め込みと合成データを用いて、異なるネットワーク分布間で訓練済みポリシーの転送性を可能にすること。
• 部分的に観測されたネットワークにおける次数中心性と媒介性中心性が高いためのノードを学習して特定することで、影響力拡散を向上させること。

提案手法

• エージェントが観測された部分グラフに基づいてノードを選択して照会するように、マーカフ決定過程（MDP）を用いてネットワーク発見を逐次的意思決定問題として定式化する。
• 局所的ノード特徴量とグローバルなグラフ埋め込み（例：Deepwalk）の両方を組み込んだ、Geometric-DQNと呼ばれる深層Qネットワークアーキテクチャを導入する。
• グラフ表現学習を用いてコミュニティ構造や中心性といった構造的性質を符号化し、エージェントが高階のネットワークパターンを推論できるようにする。
• 発見された部分グラフにおける選択されたシードノード集合の影響力拡散に基づく報酬信号を用い、完全なネットワークにおける高い影響力をもたらすノードの選択を促進する。
• 歴史的ネットワークデータ上で深層Q学習を用いてエージェントを訓練することで、未観測のグラフに一般化し、サンプリングプロセス中に戦略を適応的に変更できるようにする。
• 合成データまたはドメイン一般のデータセットで事前学習することで転移学習を支援し、再訓練なしに新しい環境に展開可能にする。

実験結果

リサーチクエスチョン

• RQ1 手作業によるヒューリスティクスに依存せずに、未知のソーシャルネットワークにおける影響力最大化のための効果的で適応的なサンプリングポリシーを強化学習エージェントが学習できるか。
• RQ2 学習されたポリシーは、コミュニティ構造やスパarselyスターアーキテクチャを持つような、さまざまな種類の現実世界のソーシャルネットワークにどの程度一般化できるか。
• RQ3 学習されたポリシーは、完全なネットワークにおける真の高い媒介性および次数中心性を持つノードをどの程度正確に特定できるか。
• RQ4 合成データまたは一般目的のデータセットからの転移学習は、ドメイン固有のデータで学習した場合と同等の性能を達成できるか。
• RQ5 グラフ埋め込みがネットワークのどの構造的性質を効果的に捉えており、それがポリシー性能にどのように寄与しているか。

主な発見

• Geometric-DQNエージェントは、多様な分野に属する4つの実世界のソーシャルネットワークにおいて、最先端のCHANGEアルゴリズムを7–23%上回る影響力拡散を達成した。
• 学習されたポリシーは、特に後続のサンプリング段階において、ベースライン手法と比較して完全なネットワークにおける真の高い媒介性および次数中心性を持つノードを一貫して選択した。
• Geometric-DQNは、合成ネットワークや一般のソーシャルネットワークデータセットで学習した後、ターゲットドメインに転送しても同等の性能を示した。
• 高媒介性ノードを特定する能力から、エージェントがコミュニティ間の構造的ブリッジを効果的に学習していることが示唆された。これは、広範な影響力伝播に不可欠な要因である。
• 時間経過に伴うノード中心性の可視化から、Geometric-DQNはサンプリングが進むにつれて高インパクトノードをより的確に標的としていることが明らかになった。これは、適応的かつ情報に基づいた探索を実現していることを示している。
• Deepwalk埋め込みとDQNアーキテクチャの統合により、エージェントは単なる局所的接続性を越えた複雑な高階のグラフパターンを検出できるようになった。