[論文レビュー] Semi-supervisedly Co-embedding Attributed Networks

Zaiqiao Meng, Shangsong Liang+2 more|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Oct 31, 2019

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本稿では、部分的にラベルが付与された属性付きネットワークにおけるノードと属性の間の類似性を捉えるのを妨げる既存手法の限界を克服するため、ノードと属性の両方の低次元ガウス埋め込みを、一般化された半教師あり変分オートエンコーダー（SVAE）を用いて同時に学習する半教師あり共同埋め込みモデルSCANを提案する。ノードと属性の表現を共有の意味的空間にモデル化し、識別ネットワークを介して部分的なノードラベルを統合することで、ノード分類、属性推定、ユーザープロファイリングの性能が向上し、PubMed、BlogCatalog、Flickrといった実世界のデータセットにおいて、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Deep generative models (DGMs) have achieved remarkable advances. Semi-supervised variational auto-encoders (SVAE) as a classical DGM offer a principled framework to effectively generalize from small labelled data to large unlabelled ones, but it is difficult to incorporate rich unstructured relationships within the multiple heterogeneous entities. In this paper, to deal with the problem, we present a semi-supervised co-embedding model for attributed networks (SCAN) based on the generalized SVAE for heterogeneous data, which collaboratively learns low-dimensional vector representations of both nodes and attributes for partially labelled attributed networks semi-supervisedly. The node and attribute embeddings obtained in a unified manner by our SCAN can benefit for capturing not only the proximities between nodes but also the affinities between nodes and attributes. Moreover, our model also trains a discriminative network to learn the label predictive distribution of nodes. Experimental results on real-world networks demonstrate that our model yields excellent performance in a number of applications such as attribute inference, user profiling and node classification compared to the state-of-the-art baselines.

研究の動機と目的

• ノード埋め込みを独立して学習する既存手法の限界を是正し、部分的にラベルが付与された属性付きネットワークにおいてノードと属性の間の類似性を捉えること。
• ネットワークのトポロジー構造とノード属性を統合的に扱いながら、部分的なノードラベルを活用して表現学習を向上させること。
• ノードと属性の表現における不確実性をガウス分布を用いてモデル化することで、頑健で原理的根拠のある埋め込み推論を可能にすること。
• エッジ再構成、属性再構成、ノード分類のバランスを取る変分下界を共同最適化することで、下流タスクの性能を向上させること。
• ノード分類、リンク予測、属性推定といった半教師ありタスクにおいて、ノードと属性を統一された空間に共同埋め込みすることの有効性を示すこと。

提案手法

• SCANは、ノードと属性を学習可能な平均および分散パラメータを持つ潜在ガウス分布としてモデル化することで、非均質なデータに半教師あり変分オートエンコーダー（SVAE）を拡張する。
• 本モデルは、ノード同士のエッジ再構成、ノードと属性間のエッジ再構成、ノードラベル予測の3つの原子的観測から成る、5つの要素からなる変分下界（ELBO）を共同で最適化する。
• 2層のGCNベースのエンコーダとデコーダを用い、ネットワーク全体に情報が伝搬されるようにする。エンコーダは入力特徴を潜在ガウス分布にマッピングし、デコーダはエッジと属性を再構成する。
• 推論されたノード埋め込みを用いて、ノードラベルを予測する識別ネットワークを訓練することで、限られたラベルデータを用いた半教師あり学習を実現する。
• エッジと属性の再構成損失のバランスを制御するハイパーパrameter β を用い、リンク予測や属性推定といったタスクに特化した最適化を可能にする。
• 最適化にはAdamオプティマイザを用い、学習率は0.01とする。ハイパーパrameter α と β は、特定のタスクにおける最適な性能を得るために調整される。

Figure 1: Our model takes the adjacency matrix ( $\mathbf{A}$ ), the attribute matrix ( $\mathbf{X}$ ) and the partial node labels ( $\mathbf{Y}^{l}$ ) as input, and outputs Gaussian distributions as latent embeddings for all nodes and attributes ( $\mathbf{Z}^{n}$ and $\mathbf{Z}^{a}$ ), as well as

実験結果

リサーチクエスチョン

• RQ1 ノードと属性を共有の意味的空間に共同埋め込みすることで、半教師あり属性付きネットワークタスクの性能が向上するか？
• RQ2 ノードと属性の埋め込みにおける不確実性をガウス分布でモデル化することで、表現品質と下流タスクの性能にどのような影響を与えるか？
• RQ3 部分的なノードラベルをどれだけ活用できるかが、属性付きネットワークにおけるノード分類、属性推定、リンク予測の性能にどの程度影響を与えるか？
• RQ4 エッジ再構成と属性再構成のバランス（β で制御）が、異なる下流タスクの性能に与える影響はどの程度か？
• RQ5 提案されたSCANモデルは、実世界の属性付きネットワークにおいて、ノード分類、属性推定、リンク予測の分野で、既存の最先端手法を上回る性能を発揮するか？

主な発見

• BlogCatalogデータセットでは、ノード分類においてSOTAの性能を達成し、特にラベル比が増加するにつれて、すべてのベースライン、特にPlanetoid-Tを上回る性能を示す。
• SCANで学習された表現を用いたSVM分類器は、2番目の高い精度を達成しており、学習されたノード埋め込みの質の高さを示している。
• BlogCatalogデータセットでは、β の値を変化させた結果、トレードオフが確認された：β を大きくするとリンク予測性能（AUC：最大0.88）が向上するが、属性推定性能（AUC：最小0.84）は低下する。これはβ がタスク特化型最適化に果たす役割を裏付けている。
• リンク予測と属性推定の両タスクにおいて、SCANはβ の値にかかわらず高い性能を維持しており、ノード分類の最適性能はβ = 0.5で達成された。
• 実世界のネットワークにおける訓練コストは、Flickrでは10エポックあたり約57秒、PubMedでは約290秒であり、中規模ネットワークにおいても合理的なスケーラビリティを示している。
• 本モデルのコードはGitHubで公開されており、再現性とさらなる研究を促進している。

Figure 2: Probabilistic graphical model of our SCAN. Generative model dependencies are shown in solid arrows, while inference model dependencies are shown in dashed arrows.