[論文レビュー] Distribution-induced Bidirectional Generative Adversarial Network for Graph Representation Learning

Shuai Zheng, Zhenfeng Zhu+4 more|arXiv (Cornell University)|Dec 4, 2019

Advanced Graph Neural Networks参考文献 40被引用数 4

ひとこと要約

本稿では、構造に配慮した事前分布をプロトタイプ学習を用いて推定することで、頑健で判別力のあるノード表現を可能にする、分布誘導型双方向的生成対抗ネットワークであるDBGANを提案する。グラフ空間と潜在空間の間で双方向的対抗学習を課すことにより、リンク予測およびノードクラスタリングにおいて優れた性能を達成し、一般化性能と次元効率性が向上する。

ABSTRACT

Graph representation learning aims to encode all nodes of a graph into low-dimensional vectors that will serve as input of many compute vision tasks. However, most existing algorithms ignore the existence of inherent data distribution and even noises. This may significantly increase the phenomenon of over-fitting and deteriorate the testing accuracy. In this paper, we propose a Distribution-induced Bidirectional Generative Adversarial Network (named DBGAN) for graph representation learning. Instead of the widely used normal distribution assumption, the prior distribution of latent representation in our DBGAN is estimated in a structure-aware way, which implicitly bridges the graph and feature spaces by prototype learning. Thus discriminative and robust representations are generated for all nodes. Furthermore, to improve their generalization ability while preserving representation ability, the sample-level and distribution-level consistency is well balanced via a bidirectional adversarial learning framework. An extensive group of experiments are then carefully designed and presented, demonstrating that our DBGAN obtains remarkably more favorable trade-off between representation and robustness, and meanwhile is dimension-efficient, over currently available alternatives in various tasks.

研究の動機と目的

• 任意の正規分布事前分布に依存する従来のグラフ表現学習手法の限界に対処する。これは過学習や低さの耐性を引き起こす可能性がある。
• 構造に配慮した方法で真の潜在データ分布をモデル化することで、学習済みノード表現の一般化性能と耐性を向上させる。
• 双方向的対抗学習フレームワークを通じて、サンプルレベルと分布レベルの整合性をバランスさせ、局所的およびグローバルなグラフ構造を保持する。
• 高い表現能力を維持しながら次元効率性を確保する手法を開発する。低次元設定下でも既存手法を上回る性能を発揮する。

提案手法

• 標準的なガウス事前分布の代わりに、グラフ空間と特徴空間から学習されたクロスドメインプロトタイプを用いて推定される構造に配慮した事前分布を導入する。
• 双方向的対抗フレームワークを導入する：生成器は潜在表現を再びグラフデータにマッピングし、識別器は両方向（実データと生成データ）で区別を試みる。
• プロトタイプ学習を用いてグラフ空間と特徴空間を暗黙的に整合させ、潜在空間における構造的一致性を捉える。
• 敵対的損失を介してエンコーダーと生成器を同時に学習し、分布の一貫性を強制し、ノイズや過剰平滑化に対する耐性を向上させる。
• 敵対的学習を通じて多段階の一貫性（サンプルおよび分布レベル）をバランスさせ、個々のノード表現とグローバルデータ分布の両方が保持されることを保証する。
• t-SNE可視化を適用し、DBGANが低次元空間においてもクラス分離性と隣接関係を保持していることを示す。

実験結果

リサーチクエスチョン

• RQ1 構造に配慮した事前分布推定は、標準的なガウス事前分布と比較して、グラフ表現学習の頑健性と一般化性能を向上させるか？
• RQ2 潜在空間とグラフ空間の間で双方向的対抗学習を実施することで、表現品質と分布一貫性の両方が向上するか？
• RQ3 本手法は、リンク予測およびノードクラスタリングタスクにおいて、最先端手法と比較してどの程度の性能を示すか？
• RQ4 潜在表現の次元が、本手法の性能にどの程度影響を与えるか？
• RQ5 教師なし条件下でも、低次元空間において構造的および特徴的関係を保持できるか？

主な発見

• CorAデータセットにおいて、DBGANはリンク予測で94.5%のAUC、ノードクラスタリングで75.9%のNMIを達成し、すべてのアブレーションバリアントおよびベースラインを上回る。
• アブレーションスタディの結果、双方向対抗学習（BAL）または事前分布推定（PDE）を削除すると、性能が著しく低下し、AUCはそれぞれ2.1%および1.5%低下する。
• DBGANは低次元の潜在表現（例：128次元）でも強力な性能を維持しており、高次元を必要とする手法と比較して優れた次元効率性を示す。
• 可視化結果から、DBGANが生成する表現は、GAE、DGI、および元の特徴と比較して、明確なクラス分離性とより少ないクラス内散乱を示している。
• BALとPDEの両方を有効にしたモデルが、すべての指標で最高の性能を達成しており、両コンponentが頑健性と表現品質の向上に補完的役割を果たしていることを確認した。
• 潜在次元が増加するにつれて性能が向上するが、DBGANは64〜128次元の低次元でも最先端の結果を達成しており、その効率性を裏付けている。