[論文レビュー] Joint embedding of structure and features via graph convolutional networks

Sébastien Lerique, Jacob Levy Abitbol+1 more|arXiv (Cornell University)|May 21, 2019

Advanced Graph Neural Networks参考文献 69被引用数 31

ひとこと要約

この論文は、ノード特徴、ネットワーク構造、および共通の特徴-構造情報の3つを別々の埋め込み次元に分離するマルチタスクGNN-VAE（AN2VEC）を提案する。共有潜在次元を介してこれらのコンponentsを同時に学習することで、特に特徴と構造の相関が高い状況において、共有情報を含まないモデルよりも再構成性能が向上することを示している。

ABSTRACT

The creation of social ties is largely determined by the entangled effects of people's similarities in terms of individual characters and friends. However, feature and structural characters of people usually appear to be correlated, making it difficult to determine which has greater responsibility in the formation of the emergent network structure. We propose \\emph{AN2VEC}, a node embedding method which ultimately aims at disentangling the information shared by the structure of a network and the features of its nodes. Building on the recent developments of Graph Convolutional Networks (GCN), we develop a multitask GCN Variational Autoencoder where different dimensions of the generated embeddings can be dedicated to encoding feature information, network structure, and shared feature-network information. We explore the interaction between these disentangled characters by comparing the embedding reconstruction performance to a baseline case where no shared information is extracted. We use synthetic datasets with different levels of interdependency between feature and network characters and show (i) that shallow embeddings relying on shared information perform better than the corresponding reference with unshared information, (ii) that this performance gap increases with the correlation between network and feature structure, and (iii) that our embedding is able to capture joint information of structure and features. Our method can be relevant for the analysis and prediction of any featured network structure ranging from online social systems to network medicine.

研究の動機と目的

• 属性付きネットワークにおけるノード特徴とネットワーク構造の混合効果を分離する課題に対処すること。
• 特徴類似性と構造的接続性を同時にモデル化する手法を開発し、ネットワーク形成における両者の寄与を別々に分析可能にする。
• 特徴と構造の間で共有情報を用いることで、独立に扱うモデルと比較して埋め込み再構成性能が向上するかどうかを評価すること。
• ノードの重要性が構造的要因か特徴的要因に起因するかを特定することで、ネットワーク内でのノードの役割を解釈可能なフレームワークで提示すること。

提案手法

• AN2VECは、特徴固有、構造固有、特徴-構造共有の3つの成分に分離されたノード埋め込みを学習するマルチタスクGNN-VAE（GCN-VAE）を採用する。
• 特徴、隣接構造、およびそれらの重複部分のための別々の潜在空間コンponentsを用い、共通のボトルネック層により共同情報を符号化する。
• 潜在空間に変分推論フレームワークを適用し、KLダイバージェンス正則化を用いて分離性とモデル安定性を確保する。
• ノード特徴および隣接行列の両方の再構成損失を用いてエンドツーエンドで学習し、隣接行列予測のための別個のデコーダを備える。
• アブレーションスタディのための変種をサポート：AN2VEC-0（共有次元なし）、AN2VEC-16（16次元の共有次元）、比較用の浅い隣接デコーダ。
• 特徴と構造パターンの相関を調整可能な合成データセットを用い、制御された条件下でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴とネットワーク構造の間で情報を共有することで、独立にモデル化する場合と比較して、埋め込み再構成性能がどの程度向上するか？
• RQ2 特徴と構造パターンの相関が高くなるに従い、共有モデルと非共有モデルの性能差はどのように変化するか？
• RQ3 特徴と構造が相関している状況において、埋め込みの共有コンポーネントが効果的に共同情報を捉えられるか？
• RQ4 分離された表現により、ノードの重要性の原因が構造的要因か特徴的要因かをよりよく特定できるか？

主な発見

• 共有特徴-構造情報を活用する浅い埋め込み（AN2VEC-16）は、共有次元を含まないベースラインモデル（AN2VEC-0）よりも、隣接行列再構成において顕著に優れている。
• 合成ネットワークにおける特徴と構造の相関が高くなるほど、共有モデルと非共有モデルの性能差が拡大する。
• 16次元の共有コンポーネントは、特徴と構造が相関している場合に、再構成精度の向上によってその共同情報を的確に捉えていることが裏付けられた。
• モデルは特徴、構造、および共同情報の3つを成功裏に分離できており、ノードの役割やネットワーク形成メカニズムの解釈可能な分析を可能にした。
• 合成データセットでは、特徴と構造が強く相関している状況において、AN2VEC-16はAN2VEC-0よりも高いAUCおよびAPスコアを達成した。
• 実世界のベンチマーク（Cora, CiteSeer, PubMed）でも、本手法は頑健性とスケーラビリティを示し、ソーシャルネットワーク解析やネットワーク医学への応用の可能性を示唆している。