[論文レビュー] Deep Graph Representation Learning and Optimization for Influence Maximization

Ling Chen, Junji Jiang+6 more|arXiv (Cornell University)|May 1, 2023

Complex Network Analysis Techniques被引用数 78

ひとこと要約

DeepIM はシードセットを連続的な潜在空間に埋め込み、グラフ拡散モデルをエンドツーエンドで学習する。これにより、ノード中心性制約と蒸留に基づく効率化を備えた、スケーラブルで適応的な影響最大化を実現する。

ABSTRACT

Influence maximization (IM) is formulated as selecting a set of initial users from a social network to maximize the expected number of influenced users. Researchers have made great progress in designing various traditional methods, and their theoretical design and performance gain are close to a limit. In the past few years, learning-based IM methods have emerged to achieve stronger generalization ability to unknown graphs than traditional ones. However, the development of learning-based IM methods is still limited by fundamental obstacles, including 1) the difficulty of effectively solving the objective function; 2) the difficulty of characterizing the diversified underlying diffusion patterns; and 3) the difficulty of adapting the solution under various node-centrality-constrained IM variants. To cope with the above challenges, we design a novel framework DeepIM to generatively characterize the latent representation of seed sets, and we propose to learn the diversified information diffusion pattern in a data-driven and end-to-end manner. Finally, we design a novel objective function to infer optimal seed sets under flexible node-centrality-based budget constraints. Extensive analyses are conducted over both synthetic and real-world datasets to demonstrate the overall performance of DeepIM. The code and data are available at: https://github.com/triplej0079/DeepIM.

研究の動機と目的

• 離散的なシードセット選択問題を連続的な潜在空間に埋め込み、最適化を容易にする。
• 現実世界の伝播パターンをエンドツーエンドで捉えるデータ駆動の拡散モデルを学習する。
• ノード中心性ベースの予算制約の下で、シードセット推定のための統一的で適応性のある目的を提供する。
• 精度を損なうことなく、知識蒸留によって軽量な student モデルへ移行し、効率を向上させる。
• 複数の拡散モデル下で実世界および合成ネットワークにおいて優れた性能を示す。

提案手法

• シードセットを表す潜在変数 z を導入し、p(x) = ∫ p(x|z)p(z) dz としてオートエンコーダ（エンコーダ f_phi とデコーダ f_psi）で学習する。
• GNN ベースの拡散モデル M(x,G;θ) を開発し、感染確率と最終拡散を出力する。集約・結合関数が非減少で、最終読み出しも非減少であるという単調性保証を満たす。
• 現実的な拡散を反映するため拡散モデルのスコアと感染の単調性を保証する。前述の条件の下で GNN（例：GAT）の単調性を証明する。
• 知識蒸留を取り入れ、潜在 z から直接影響を予測する軽量な student モデル Ms(z;λ) を訓練して効率化する。
• 学習済み後方分布 p(z|x) と拡散モデルを組み合わせ、潜在表現と拡散予測を同時に最適化するエンドツーエンドの訓練目的関数を構築する。
• 任意のノード中心性予算の下で、カード性（基礎的な Cardinality）と次数ベースの制約を含む、シードセット推定の統一された制約付き最適化目的を提供する。
• 解が実現可能になるよう、正則化項 Phi(x) を用いた射影勾配法で潜在空間の z を最適化する推論手順を提案する。

実験結果

リサーチクエスチョン

• RQ1 シードセットの連続潜在表現は、さまざまな拡散パターンに対してスケーラブルで効果的な影響最大化を実現できるか。
• RQ2 単調性を保ちつつ、エンドツーエンドで拡散モデルとシードセット表現を共同学習するにはどうすればよいか。
• RQ3 さまざまな IM バリアントに対して、ノード中心性ベースの予算制約を統一したフレームワークで適応的に扱えるか。
• RQ4 高容量の拡散モデルから軽量モデルを蒸留して、効率を向上させつつ予測精度を保てるか。

主な発見

• DeepIM は、複数の実世界ネットワークと拡散設定で、従来の手法および学習ベースのベースラインを一貫して上回る。
• このフレームワークは、学習された拡散モデルの単調性保証を維持し、信頼性の高い影響推定を支援する。
• 軽量な student モデルは教師モデルの拡散モデルを近似でき、スケールの大きい推論を可能にする。
• 潜在空間推論手順は、次数ベース・カード性予算を含むさまざまな予算制約の下で高影響シードセットを効果的に特定する。
• IC、LT、SIS の拡散下で強い性能を示し、スケーラブルな訓練と推論ワークフローを提供する。