[論文レビュー] Adversarial Graph Disentanglement

Shuai Zheng, Zhenfeng Zhu+3 more|arXiv (Cornell University)|Mar 12, 2021

Advanced Graph Neural Networks参考文献 69被引用数 5

ひとこと要約

本稿では、リンクの因果関係に基づいて隣接ノードを異なる潜在的成分に動的に割り当てる動的成分割り当て機構を用いた、微分離（micro-disentanglement）と、マクロ的分離（macro-disentanglement）を促進する敵対的正則化子を組み合わせた、新しいグラフニューラルネットワークADGCNを提案する。この手法により、ノード表現のロバスト性と表現力が向上し、学術論文や類縁のグラフにおけるノード分類および敵対的攻撃に対する防御性能において、最先端のモデルを上回る性能を達成する。

ABSTRACT

A real-world graph has a complex topological structure, which is often formed by the interaction of different latent factors. However, most existing methods lack consideration of the intrinsic differences in relations between nodes caused by factor entanglement. In this paper, we propose an \underline{ extbf{A}}dversarial \underline{ extbf{D}}isentangled \underline{ extbf{G}}raph \underline{ extbf{C}}onvolutional \underline{ extbf{N}}etwork (ADGCN) for disentangled graph representation learning. To begin with, we point out two aspects of graph disentanglement that need to be considered, i.e., micro-disentanglement and macro-disentanglement. For them, a component-specific aggregation approach is proposed to achieve micro-disentanglement by inferring latent components that cause the links between nodes. On the basis of micro-disentanglement, we further propose a macro-disentanglement adversarial regularizer to improve the separability among component distributions, thus restricting the interdependence among components. Additionally, to reveal the topological graph structure, a diversity-preserving node sampling approach is proposed, by which the graph structure can be progressively refined in a way of local structure awareness. The experimental results on various real-world graph data verify that our ADGCN obtains more favorable performance over currently available alternatives. The source codes of ADGCN are available at extit{\url{https://github.com/SsGood/ADGCN}}.

研究の動機と目的

• 既存のグラフ表現学習手法が、隣接ノードの集約を一様に扱うという制限を是正し、リンクが持つ潜在的成分構造を無視すること。
• ノード表現を明示的に異なる意味的成分に分離することで、グラフニューラルネットワークの解釈可能性とロバスト性を向上させること。
• 多様性を保ちながらノードをサンプリングする戦略を用いて、段階的にグラフ構造を精錬することで、隠れたトポロジカル関係を明らかにすること。
• 敵対的正則化子により成分の独立性を強制することで、モデルの敵対的攻撃に対するロバスト性を向上させること。

提案手法

• リンクの因果関係に基づいて隣接ノードを異なる潜在的成分に動的に割り当てる、動的成分割り当て機構を導入し、微分離を実現する。
• 成分ごとの集約戦略を採用し、隣接ノードの異なる意味的役割を反映した表現を学習する。
• 成分分布間の相互情報量を最小化することで独立性を強制する、マクロ的分離を促進する敵対的正則化子を提案する。
• 多様性を保ちながらノードをサンプリングする戦略を設計し、段階的にグラフ構造を精錬することで、局所構造の認識を強化する。
• 反復的な近傍ノードの割り当てと微分可能なメカニズムを統合し、成分割り当てのエンドツーエンド学習を可能にする。
• 2段階の訓練プロセスを採用：第1段階では成分割り当てによる微分離；第2段階では敵対的正則化によるマクロ的分離。

実験結果

リサーチクエスチョン

• RQ1 ノード-リンク関係の背後にある異なる潜在的成分を明示的にモデル化することで、グラフ表現学習はどのように向上するか？
• RQ2 敵対的正則化により成分の独立性を強制することで、グラフニューラルネットワークのロバスト性と一般化性能はどの程度向上するか？
• RQ3 多様性を保つサンプリングによる段階的グラフ精錬は、学習されたノード表現の表現力向上に寄与するか？
• RQ4 ノード分類精度および敵対的攻撃に対する防御性能において、提案手法は最先端のモデルと比較してどのように差をつけるか？

主な発見

• ADGCNは、Cora、Citeseer、PubMedを含む複数の実世界データセットにおいて、ノード分類タスクで最先端の性能を達成する。
• モデルは、標的攻撃（nettack）および非標的攻撃（metattack）の両方に対して優れたロバスト性を示し、ベースラインと比較して性能低下が著しく小さい。
• 動的割り当て機構は急速に収束し、3〜4イタレーション目で連続イテレーション間の平均コサイン類似度がほぼ定常値に達する。
• 敵対的正則化子（$L_{adv}$）を備えたバージョンは、それがないバージョンと比較して収束が早くなり、成分の分離度が向上する。
• グラフ精錬を含むADGCN-RはADGCNよりも優れた性能を達成するが、精錬プロセスのため推論時間が延長される。
• ハイパーパramータの分析から、$\lambda = \eta = 1$ および $m = 5$ を設定すると、Coraにおいて性能と効率の良いトレードオフが得られる。