[論文レビュー] Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

Carl Yang, Jieyu Zhang+6 more|arXiv (Cornell University)|Nov 4, 2019

Advanced Graph Neural Networks参考文献 39被引用数 4

ひとこと要約

本稿では、グラフ畳み込みネットワークとテキスト・属性・拡散信号の複数の再構成ヘッドを用いて、ソーシャルネットワークのリンクにおける潜在的関係分布を共同でモデル化するマルチモーダル・グラフエッジ変分オートエンコーダー ReLearn を提案する。無教師関係学習において優れた性能を発揮し、ノイズや不完全なデータに対しても頑健であり、生成的サンプリングとマルチデコーダーによるデコードによって解釈可能な関係発見を可能にする。

ABSTRACT

While node semantics have been extensively explored in social networks, little research attention has been paid to profile edge semantics, i.e., social relations. Ideal edge semantics should not only show that two users are connected, but also why they know each other and what they share in common. However, relations in social networks are often hard to profile, due to noisy multi-modal signals and limited user-generated ground-truth labels. In this work, we aim to develop a unified and principled framework that can profile user relations as edge semantics in social networks by integrating multi-modal signals in the presence of noisy and incomplete data. Our framework is also flexible towards limited or missing supervision. Specifically, we assume a latent distribution of multiple relations underlying each user link, and learn them with multi-modal graph edge variational autoencoders. We encode the network data with a graph convolutional network, and decode arbitrary signals with multiple reconstruction networks. Extensive experiments and case studies on two public DBLP author networks and two internal LinkedIn member networks demonstrate the superior effectiveness and efficiency of our proposed model.

研究の動機と目的

• ソーシャルネットワークのリンクにおける暗黙の関係意味を学習する課題に取り組む。関係はしばしば不十分に定義されており、ノイズが多いことが特徴である。
• ネットワークの近接性、ユーザ属性、情報拡散というマルチモーダル信号を統合し、エッジレベルの関係モデリングのための統一フレームワークを構築する。
• 限られたまたは完全な教師信号のない状況でも効果的に動作する、柔軟で頑健かつスケーラブルなモデルを開発する。
• 学習済みの潜在分布からのサンプリングとマルチデコーダーによるデコードによって、解釈可能な関係発見を可能にする。

提案手法

• モデルは、大規模ネットワークにおけるノードおよびエッジ表現の符号化に、近接ノードのサンプリングを組み合わせたグラフ畳み込みネットワーク（GCN）を用いる。
• グローバルな関係プロトタイプをガウス成分として持つガウス・ミックスチャネル変分オートエンコーダー（GM-VAE）により、各リンクごとの関係タイプの潜在分布をモデル化する。
• 変分推論のための2段階モンテカルロサンプリングを採用し、グローバルパラメータとローカルな関係分布の両方を推定する。
• テキスト、ユーザ属性、情報拡散からの信号を再構成するための専用デコーダーを複数設け、マルチモーダル信号の統合を実現する。
• エンド・トゥ・エンドで再構成損失を用いて訓練することで、エンコーダーと複数のデコーダーの共同最適化を可能にする。
• 学習済みの混合モデルからのサンプリングによりエッジ表現を生成し、関係固有のコンテンツの生成と解釈を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク構造、ユーザ属性、情報拡散というマルチモーダル信号を、ソーシャルネットワークのリンクにおける関係学習に効果的に統合するにはどうすればよいか？
• RQ2 ノイズや不完全なデータが存在する中で、リンクごとの関係の潜在分布をどのように学習できるか？
• RQ3 統一された生成的モデルが、多様なモダリティを同時に再構成しながら、属性ノイズや欠落リンクに対しても頑健性を保てるか？
• RQ4 生成的サンプリングとマルチデコーダーによるデコードによって、学習済みの潜在関係をどのように解釈できるか？

主な発見

• ReLearn は、2つの公開 DBLP ネットワークと2つの社内 LinkedIn ネットワークにおいて、リンク予測および関係分類の両タスクで最先端の性能を達成し、強力なベースラインを上回る。
• 属性ノイズに対して強く、最大50％の属性ベクトルが単位ガウスノイズで汚染されても高い性能を維持する。
• リンクの削除に対しても効果的であり、ネットワークから2％から10％の既存リンクをランダムに削除しても安定した性能を示す。
• PCA を用いた学習済みエッジ表現の可視化により、関係タイプ（例：同僚や同級生）の明確なクラスタリングが確認され、モデルが異なる関係を分離できていることが裏付けられる。
• 学習済みのガウス・ミックスチャネル・モデルからの生成的サンプリングと複数のヘッドによるデコードにより、解釈可能なコンテンツパターンが明らかになった。例えば、同僚には「管理」と「パフォーマンス」、同級生には「学習」と「指導」が関連している。
• ReLearn の実行時間は、PTE や GraphSage といった効率的なベースラインと同等であり、STNE や Inf2vec よりもはるかに高速であるため、スケーラビリティに優れている。