[論文レビュー] Independence Promoted Graph Disentangled Networks

Yanbei Liu, Xiao Wang+2 more|arXiv (Cornell University)|Nov 26, 2019

Advanced Graph Neural Networks参考文献 37被引用数 5

ひとこと要約

本稿では、近傍ルーティングを通じて独立した潜在要因を学習し、ヒルバート＝シュミット独立基準（HSIC）を用いて統計的独立性を強制することにより、ノード表現を分離する新しいGCNフレームワークである独立促進型グラフ分離ネットワーク（IPGDN）を提案する。IPGDNは、エンドツーエンドで学習可能な形で、分離と独立性正則化を同時に最適化することで、半教師ありノード分類、グラフクラスタリング、可視化において最先端の性能を達成する。

ABSTRACT

We address the problem of disentangled representation learning with independent latent factors in graph convolutional networks (GCNs). The current methods usually learn node representation by describing its neighborhood as a perceptual whole in a holistic manner while ignoring the entanglement of the latent factors. However, a real-world graph is formed by the complex interaction of many latent factors (e.g., the same hobby, education or work in social network). While little effort has been made toward exploring the disentangled representation in GCNs. In this paper, we propose a novel Independence Promoted Graph Disentangled Networks (IPGDN) to learn disentangled node representation while enhancing the independence among node representations. In particular, we firstly present disentangled representation learning by neighborhood routing mechanism, and then employ the Hilbert-Schmidt Independence Criterion (HSIC) to enforce independence between the latent representations, which is effectively integrated into a graph convolutional framework as a regularizer at the output layer. Experimental studies on real-world graphs validate our model and demonstrate that our algorithms outperform the state-of-the-arts by a wide margin in different network applications, including semi-supervised graph classification, graph clustering and graph visualization.

研究の動機と目的

• グラフ表現学習における分離された潜在要因同士に明示的な独立性の強制がなされていないという問題に対処すること。
• 近傍特徴を異なる潜在要因にルーティングすることで、分離されたノード表現を学習できる微分可能でエンドツーエンドのフレームワークを構築すること。
• 核ベースの独立性測定（HSIC）をGCNに統合し、正則化項として用いることで、学習された表現の多様性を高め、重複を低減すること。
• 分類やクラスタリングなどの下流タスクにおけるGCNの解釈可能性、耐性、性能を向上させること。
• 分離された要因同士に独立性を強制することで、より情報量が多く構造的に意味のあるノード表現が得られることを示すこと。

提案手法

• ノードの近傍を、例えば趣味、仕事、教育など異なる側面に分解する近傍ルーティング機構を導入し、それぞれの側面に対して別々の表現学習を実施する。
• 各チャネルが分離された潜在要因に対応するマルチチャネルグラフ畳み込み層を採用し、要因別に特徴を集約可能にする。
• 出力層でヒルバート＝シュミット独立基準（HSIC）を微分可能正則化項として適用し、潜在表現間の統計的依存を最小化する。
• バックプロパゲーションにより表現学習と独立性正則化を同時に最適化し、エンドツーエンド学習を可能にする。
• 非線形な依存関係を捉えるために、核ベースの測定（HSIC）を用い、潜在要因が統計的に独立していることを保証する。
• ハイパーパrameter λ で制御される正則化項として、HSIC正則化をGCNフレームワークに統合し、損失関数の一部として組み込む。

実験結果

リサーチクエスチョン

• RQ1 分離された表現学習において、潜在要因同士に統計的独立性を明示的に強制することで、GCNの性能を向上させられるか？
• RQ2 分離された要因同士に独立性を強制すると、ノード分類やクラスタリングなどの下流グラフ学習タスクにどのような影響を与えるか？
• RQ3 ヒルバート＝シュミット独立基準（HSIC）は、グラフ表現学習における独立性促進のための微分可能正則化項として有効か？
• RQ4 特に独立性正則化重み λ に依存するが、IPGDNモデルの性能はハイパーパrameterの選択に対してどれほど頑健か？
• RQ5 IPGDNは、実世界のグラフ（例えば、ソーシャルネットワークや引用ネットワークなど）において、意味的に明確に区別できる潜在要因を発見できるか？

主な発見

• IPGDNは、Cora、Citeseer、PubMed データセットにおいて、半教師ありノード分類で最先端の手法を上回り、高い正答率を達成した。
• モデルはグラフクラスタリングタスクでも優れた性能を示し、分離され独立した表現のおかげで、クラスタの質が向上した。
• 可視化結果から、IPGDNの埋め込み表現はクラス内類似度が高く、クラス間の分離が明確であることが示され、有効な分離が実現していることが確認された。
• 独立性正則化のハイパーパrameter λ は広い範囲（例：[10⁻⁵, 10⁻⁶]）で頑健であり、λ が閾値（例：1.25×10⁻⁵）を超えると性能が低下するのみであった。
• IPGDNは少ないイテレーションで収束し、提案された学習スキームの効率性が裏付けられた。
• HSICを正則化項として用いることで、潜在要因間の重複が効果的に低減され、より情報量が多く多様なノード表現が得られた。