[論文レビュー] LGD-GCN: Local and Global Disentangled Graph Convolutional Networks

Jingwei Guo, Kaizhu Huang+2 more|arXiv (Cornell University)|Apr 24, 2021

Advanced Graph Neural Networks参考文献 19被引用数 6

ひとこと要約

LGD-GCNは、学習された潜在空間における局所的近隣情報とグローバルな要因固有構造を統合的に活用することで、ノード表現の分離を実現する画期的なグラフ畳み込みネットワークを提案する。要因に特化した潜在構造上でのグローバルなメッセージスティンぐ機構と、多様性を促進する正則化項を統合することで、要因内の一貫性を向上させるとともに要因間の多様性を高め、合成および実世界のグラフにおいて解釈可能性を高めたノード分類で最先端の性能を達成した。

ABSTRACT

Disentangled Graph Convolutional Network (DisenGCN) is an encouraging framework to disentangle the latent factors arising in a real-world graph. However, it relies on disentangling information heavily from a local range (i.e., a node and its 1-hop neighbors), while the local information in many cases can be uneven and incomplete, hindering the interpretabiliy power and model performance of DisenGCN. In this paper\footnote{This paper is a lighter version of \href{https://jingweio.github.io/assets/pdf/tnnls22.pdf}{"Learning Disentangled Graph Convolutional Networks Locally and Globally"} where the results and analysis have been reworked substantially. Digital Object Identifier \url{https://doi.org/10.1109/TNNLS.2022.3195336}.}, we introduce a novel Local and Global Disentangled Graph Convolutional Network (LGD-GCN) to capture both local and global information for graph disentanglement. LGD-GCN performs a statistical mixture modeling to derive a factor-aware latent continuous space, and then constructs different structures w.r.t. different factors from the revealed space. In this way, the global factor-specific information can be efficiently and selectively encoded via a message passing along these built structures, strengthening the intra-factor consistency. We also propose a novel diversity promoting regularizer employed with the latent space modeling, to encourage inter-factor diversity. Evaluations of the proposed LGD-GCN on the synthetic and real-world datasets show a better interpretability and improved performance in node classification over the existing competitive models. Code is available at \url{https://github.com/jingweio/LGD-GCN}.

研究の動機と目的

• 実世界のグラフでは特に不確実性やスパarsityが生じやすい、局所的近隣情報に依存する傾向が強いDisentangled GCN（DisenGCN）の限界を是正すること。
• 局所的分離とグローバルな要因固有パターンの両方を捉えることで、グラフ表現学習の解釈可能性と性能を向上させること。
• 学習された潜在空間において要因固有のメッセージスティンぐ構造を構築することで、要因内の一貫性を向上させること。
• 潜在空間における分離された特徴が別々のクラスタを形成するよう促進する新しい正則化項を導入し、要因間の多様性を促進すること。
• 合成および実世界のグラフベンチマークにおいて、従来の最先端モデルと比較して優れた性能と解釈可能性を示すことを実証すること。

提案手法

• ノード表現を異なる要因に対応する複数の潜在ユニットに局所的に分離するための近隣ルーティング機構を活用する。
• 局所的に分離されたユニットに対して統計的混合モデル（例：ガウス・ミックス・モデル）を適用し、各要因が明確に分離された領域を占める要因に特化した連続的潜在空間を導出する。
• 各要因ごとに潜在空間で近いノード同士を接続することで、要因固有のグラフ構造を構築し、ターゲットのグローバルなメッセージスティンぐを可能にする。
• 要因固有の情報をこれらの潜在構造に沿って伝搬するためのグローバル集約モジュール（$\mathbb{LG}_{agg}$）を採用し、要因内の一貫性を強化する。
• 分離された特徴が潜在空間で別々のクラスタを形成するよう促進する多様性促進正則化項（$\mathcal{L}_{div}$）を導入し、要因間の明確な区別を向上させる。
• 再構成、一貫性、多様性の各項を組み合わせた損失関数を用いてエンドツーエンドで最適化し、頑健性を確保するためのハイパーパrameterチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるグローバル構造的情報を組み込むことで、単に局所的近隣に依存する場合と比較して、分離された表現の一貫性が向上するか？
• RQ2 要因に特化した潜在空間の構築は、グラフニューラルネットワークにおけるノード分類の解釈可能性と性能を向上させるか？
• RQ3 提案された多様性正則化項は、潜在空間における分離された要因の分離性にどのように影響を与えるか？
• RQ4 LGD-GCNは、スパースなグラフにおいてもDisenGCNや他の最先端モデルを上回る性能を示すか？
• RQ5 各提案コンポーネント（$\mathcal{L}_{space}$, $\mathcal{L}_{div}$, $\mathbb{LG}_{agg}$）が全体のモデル性能に果たす寄与度はどの程度か？

主な発見

• LGD-GCNは最先端のノード分類精度を達成し、Coraでは84.9%、Citeseerでは74.5%、Pubmedでは81.2%を記録し、DisenGCNや他の最先端モデルを上回った。
• 特に深層部において、潜在特徴に密度が高く、ブロック状の相関パターンが顕著に現れ、解釈可能性と要因固有の構造が強化されていることが示された。
• アブレーションスタディにより、$\mathbb{LG}_{agg}$が特徴の相関性と解釈可能性を顕著に向上させ、相関行列に明確なブロック状パターンが現れていることが確認された。
• 多様性正則化項（$\mathcal{L}_{div}$）は要因間の分離性を効果的に促進し、その除去または過剰な強調により性能が低下することが確認された。
• ハイパーパrameterの選択に対して頑健である：Coraでは$\lambda_{space}$が[0.1, 1]、$\lambda_{div}$が[0, 0.1]、$k$が[1, 8]で最良の性能を示し、$k$が高くなるとノイズの多いエッジにより性能が低下した。
• チャンネル数$M$は真の潜在要因数に近い値（例：8要因の合成グラフでは$M=8$）に設定すべきであり、性能がこの値でピークに達することが確認された。