[論文レビュー] Unsupervised Attributed Multiplex Network Embedding

Chanyoung Park, Donghyun Kim+2 more|arXiv (Cornell University)|Nov 15, 2019

Advanced Graph Neural Networks参考文献 40被引用数 20

ひとこと要約

本稿では、コンSENSUS正則化とDeep Graph Infomaxにインspiredされたユニバーサルディスcriminatorを用いて、複数の関係タイプにわたるノード表現を共同で学習する、完全に教師なしの属性付きマルチプレックスネットワーク埋め込み手法DMGIを提案する。DMGIは、ノードラベルや関係タイプの明示的教師信号を一切必要とせず、ノードクラスタリング、類似度検索、分類の各タスクで最先端の性能を達成する。

ABSTRACT

Nodes in a multiplex network are connected by multiple types of relations. However, most existing network embedding methods assume that only a single type of relation exists between nodes. Even for those that consider the multiplexity of a network, they overlook node attributes, resort to node labels for training, and fail to model the global properties of a graph. We present a simple yet effective unsupervised network embedding method for attributed multiplex network called DMGI, inspired by Deep Graph Infomax (DGI) that maximizes the mutual information between local patches of a graph, and the global representation of the entire graph. We devise a systematic way to jointly integrate the node embeddings from multiple graphs by introducing 1) the consensus regularization framework that minimizes the disagreements among the relation-type specific node embeddings, and 2) the universal discriminator that discriminates true samples regardless of the relation types. We also show that the attention mechanism infers the importance of each relation type, and thus can be useful for filtering unnecessary relation types as a preprocessing step. Extensive experiments on various downstream tasks demonstrate that DMGI outperforms the state-of-the-art methods, even though DMGI is fully unsupervised.

研究の動機と目的

• マルチプレックスネットワークにおける複数の関係タイプとノード属性を同時にモデル化できない既存のネットワーク埋め込み手法のギャップを埋める。
• 局所的なインダクティブバイアス（例：GCN やランダムウォーク）に依存する従来の教師なし手法の限界を克服し、グローバルなグラフ構造を捉える。
• 関係タイプ固有の埋め込み同士の相互強化を可能にするとともに、ノード属性情報を保持するフレームワークを開発する。
• ノードラベルを必要とせず自己教師あり表現学習を可能にすることで、ラベル付けが高コストな実世界ネットワークに適した。
• アテンション機構を用いて各関係タイプの重要度を学習することで解釈可能性を提供し、事前処理における関係フィルタリングを可能にする。

提案手法

• 局所的ノードパッチとグローバルなグラフレベル表現の相互情報量を最大化するノードエンコーダーを学習することで、マルチプレックスネットワークにDeep Graph Infomax (DGI) を適応する。
• 関係タイプ固有のノード埋め込み間の不一致を最小化するコンセンサス正則化フレームワークを導入し、異なるグラフビュー間での整合性を促進する。
• すべての関係タイプにわたって真の（グラフレベル要約、局所的パッチ）ペアを区別するユニバーサルディスクラミネーターを設計し、関係タイプ別に分離した学習を回避して統合的な訓練を可能にする。
• 複数の関係タイプ間の相互作用をモデル化するため、共有スコア行列Mを用いることで、クロスビュー間の情報伝達を可能にする。
• グラフ畳み込みネットワーク（GCNs）を用いてノード属性と局所構造を符号化し、DGI目的関数を通じてグローバル表現に統合する。
• アテンション機構を導入して各関係タイプの重要度を学習し、動的重み付けを可能にするとともに、事前処理段階での不要な関係のフィルタリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なしのフレームワークは、属性付きマルチプレックスネットワークにおいて、複数の関係タイプにわたる高品質なノード埋め込みを共同で学習できるか？
• RQ2 コンセンサス正則化は、それぞれの構造的特徴を保持しつつ、関係タイプ固有のノード表現をどれほど効果的に整合化できるか？
• RQ3 ユニバーサルディスクラミネーターは、多様な関係タイプにわたる統一された教師信号を提供することで、表現学習をどの程度向上できるか？
• RQ4 DMGIにおけるアテンション機構は、異なる関係タイプの相対的重要度を正確に推定できるか？また、そのような推定は、事前処理や関係選択に役立つか？
• RQ5 DMGIはノード分類、クラスタリング、類似度検索といった下流タスクで、ノードラベルを一切使用せずに最先端の性能を達成できるか？

主な発見

• DMGIは、ノード分類（DBLP上でのF1-macro: 0.778）、クラスタリング（NMI: 0.554）、類似度検索（Sim@5: 0.798）の各タスクで最高性能を達成し、最先端の教師なし手法を上回る。
• アブレーションスタディの結果、コンセンサス正則化目的関数の2番目の項（式6）を削除するとF1-macroが0.749に低下し、整合性維持に果たす重要性が示された。
• 各関係タイプごとに別々のスコア行列M^(1), ..., M^(|R|) を使用した場合、性能が著しく低下（F1-macro: 0.645）し、共有された相互作用モデリングの利点が裏付けられた。
• ノード属性を無視して隣接行列のみを入力とした場合、F1-macroは0.377に低下し、属性情報が表現品質において不可欠であることが示された。
• 属性行列ではなく隣接行列をシャッフルした場合、性能が急激に低下（F1-macro: 0.364）し、構造的情報が属性の並び替えよりもはるかに重要であることが確認された。
• DMGIにおけるアテンション機構 ${}_{\text{attn}}$ は意味のある関係重みを学習しており、アブレーション実験ではランダムサンプリングによるリードアウトがSAGPool や maxpooling に比べて性能を劣化させた。