[論文レビュー] Adversarial Network Embedding

Quanyu Dai, Qiang Li+2 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Graph Neural Networks参考文献 30被引用数 68

ひとこと要約

本論文は Adversarial Network Embedding (ANE) を提案する。構造を保持する帰納的 DeepWalk の派生と adversarial 学習コンポーネントを組み合わせ、ノード埋め込みを正則化し、ネットワークの頑健な埋め込みを生成する枠組みである。

ABSTRACT

Learning low-dimensional representations of networks has proved effective in a variety of tasks such as node classification, link prediction and network visualization. Existing methods can effectively encode different structural properties into the representations, such as neighborhood connectivity patterns, global structural role similarities and other high-order proximities. However, except for objectives to capture network structural properties, most of them suffer from lack of additional constraints for enhancing the robustness of representations. In this paper, we aim to exploit the strengths of generative adversarial networks in capturing latent features, and investigate its contribution in learning stable and robust graph representations. Specifically, we propose an Adversarial Network Embedding (ANE) framework, which leverages the adversarial learning principle to regularize the representation learning. It consists of two components, i.e., a structure preserving component and an adversarial learning component. The former component aims to capture network structural properties, while the latter contributes to learning robust representations by matching the posterior distribution of the latent representations to given priors. As shown by the empirical results, our method is competitive with or superior to state-of-the-art approaches on benchmark network embedding tasks.

研究の動機と目的

• ノイズや不確実性の下で、頑健な低次元ネットワーク表現を動機づける。
• 埋め込みに事前分布を課しつつネットワーク構造を保持する adversarial 正則化子を開発する。
• ニューラルネットワークでの学習を可能にする、帰納的でパラメータ化された構造保持コンポーネントを提案する。
• adversarial 正則化が、ベースラインを超えて堅牢性と識別力を向上させることを示す。

提案手法

• 構造保持モジュールと adversarial 学習モジュールの2つのコンポーネントからなる ANE を提案する。
• 構造保持モデルとして DeepWalk の帰納的変種 (IDW) を用い、パラメータ化された生成器 G(x;θ1) がノード埋め込みを、文脈生成器 F(x;θ1') が文脈埋め込みを生み出す。
• 生成器の入力特徴として、高次近接性を捉えるシフトされた正の pointwise mutual information (PPMI) 行列 X を用いてグラフを前処理する。
• adversarial コンポーネントでは、構造保持部と共有する生成器 G(·;θ1) と判別器 D(·;θ2) を用い、事前分布 p(z) が埋め込みに分布を課し、生成器はサンプルをこの事前分布に写像することを目指す。
• adversarial 学習を最小最大ゲームとして定義し、判別器の目的を O_D、生成器の目的を O_G として、埋め込みベクトルが事前分布のサンプルに似るよう促す。
• 2 種の具体化を実験する：AIDW（IDW + adversarial regularization）と ADAE（ノイズ除去構造を備えた adversarial autoencoder）。
• 2 段階で学習する：IDW ベースの目的関数による構造保持最適化のフェーズと、事前サンプルと埋め込みを判別器が区別するように学習する adversarial フェーズ、生成器は判別器を騙すように適応する。

実験結果

リサーチクエスチョン

• RQ1 adversarial 正則化は、標準的な構造保持法を超えて、ネットワーク埋め込みの品質と頑健性を向上させるか？
• RQ2 帰納的でパラメータ化された構造保持モジュールと adversarial prior 正則化を組み合わせることで、ノード分類や可視化タスクで強力なベースラインを上回ることができるか？
• RQ3 異なる事前分布（一様 vs ガウス）とモデル選択（AIDW vs ADAE）が頑健性と性能にどう影響するか？
• RQ4 学習された埋め込みは、複数データセットにわたる多クラスノード分類などの下流タスクに対して、より識別的かつ分離可能になるか？

主な発見

• AIDW は、Cora、Citeseer、Wiki のさまざまなラベル付きデータ regime で、DeepWalk、LINE、GraRep、node2vec などのベースライン法を一貫して上回る。
• ADAE はノイズ除去オートエンコーダーを基盤とする弱い改善を示し、いくつかのデータセットで頑健性の利点が見られるが、ADW ベースの変种ほど顕著ではない。
• adversarial 正則化は可視化の分離を改善し、t-SNE プロットで基準法よりもより明確にクラスタ化され、線形に分離可能なコミュニティを生み出す。
• AIDW モデルは、ほとんどの学習比率で 3 つのベンチマークデータセットすべてで最高の分類精度を達成し、node2vec を含むベースラインを上回る。
• パラメータ感度分析は、ウォーク長と文脈サイズに対する頑健性を示し、次元数が最大で約128次元の飽和点付近まで性能向上に寄与する。