[論文レビュー] Tree Decomposed Graph Neural Network

Yu Wang, Tyler Derr|arXiv (Cornell University)|Aug 25, 2021

Advanced Graph Neural Networks参考文献 44被引用数 4

ひとこと要約

本稿では、木分解を用いて多層の近傍情報の混合を解消することで、異なる層間の特徴の滑らかさを軽減する、新しいGNNアーキテクチャであるTree Decomposed Graph Neural Network（TDGNN）を提案する。木構造内でのグラフ拡散を用いて多ホップ依存関係をモデル化することで、より深い、より柔軟な表現学習が可能となり、複数のノード分類ベンチマークにおいて、同型性および異型性ネットワークの両方で最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved significant success in learning better representations by performing feature propagation and transformation iteratively to leverage neighborhood information. Nevertheless, iterative propagation restricts the information of higher-layer neighborhoods to be transported through and fused with the lower-layer neighborhoods', which unavoidably results in feature smoothing between neighborhoods in different layers and can thus compromise the performance, especially on heterophily networks. Furthermore, most deep GNNs only recognize the importance of higher-layer neighborhoods while yet to fully explore the importance of multi-hop dependency within the context of different layer neighborhoods in learning better representations. In this work, we first theoretically analyze the feature smoothing between neighborhoods in different layers and empirically demonstrate the variance of the homophily level across neighborhoods at different layers. Motivated by these analyses, we further propose a tree decomposition method to disentangle neighborhoods in different layers to alleviate feature smoothing among these layers. Moreover, we characterize the multi-hop dependency via graph diffusion within our tree decomposition formulation to construct Tree Decomposed Graph Neural Network (TDGNN), which can flexibly incorporate information from large receptive fields and aggregate this information utilizing the multi-hop dependency. Comprehensive experiments demonstrate the superior performance of TDGNN on both homophily and heterophily networks under a variety of node classification settings. Extensive parameter analysis highlights the ability of TDGNN to prevent over-smoothing and incorporate features from shallow layers with deeper multi-hop dependencies, which provides new insights towards deeper graph neural networks. Code of TDGNN: http://github.com/YuWVandy/TDGNN

研究の動機と目的

• 層間の反復的特徴伝搬によって引き起こされる深層GNNにおける過剰な滑らかさ問題に対処すること。
• 特に異型性グラフにおいて性能に悪影響を及げる、異なる層の近傍間の特徴の滑らかさを分析・軽減すること。
• ノード表現学習における多ホップ依存関係の重要性と、グラフ拡散との関連を調査すること。
• 層間の近傍集約を分離し、選択的で深さ最適化された情報統合を可能にする、柔軟で深いGNNアーキテクチャを設計すること。
• 多様な実世界のグラフ、特に挑戦的な異型性ネットワークにおいて優れた性能を示すこと。

提案手法

• 層ごとの受容場域を独立して処理できるように、異なる層の近傍を分離するための木分解手法を提案する。
• 木分解フレームワーク内でのグラフ拡散を用いて多ホップ依存関係をモデル化し、長距離の構造的情報を保持する。
• 2つの変種を導入する：TDGNN-s（単一路）とTDGNN-w（ワイドパス）、これにより異なる層からの表現の柔軟な集約が可能になる。
• 特徴変換と伝搬を分離するデカップリングアーキテクチャを採用し、混合に起因する滑らかさを低減する。
• パーソナライズドPageRankに基づく拡散を用いてノードの重要度を計算し、木構造パスに沿って情報を伝搬する。
• 浅い層と深い層からの表現を適応的集約することで、過剰な滑らかさを回避しながら特徴の豊かさを向上させる。

実験結果

リサーチクエスチョン

• RQ1 異なる層の近傍間の特徴の滑らかさが、特に異型性グラフにおいてGNNの性能にどのように影響を与えるか？
• RQ2 木分解は深層GNNにおける層間の特徴滑らかさをどの程度軽減できるか？
• RQ3 多ホップ依存関係はノード表現学習の向上に果たす役割は何か？ そして、効果的にモデル化するにはどうすればよいか？
• RQ4 木ベースの分解フレームワークは、既存のSOTAモデルを上回る、より柔軟で深いGNNアーキテクチャの構築を可能にするか？
• RQ5 木分解内でのグラフ拡散の統合は、多様なグラフタイプにおける表現学習をどのように向上させるか？

主な発見

• TDGNNは、GCNII や DAGNN などのSOTAベースラインを、複数のノード分類ベンチマークで顕著に上回る。
• 学術論文ネットワーク（PubMed, Cora, Citeseer）および異型性データセット（AmazonのPhoto, Computers、Reddit）において、最先端の性能を達成し、グラフタイプにかかわらず高い頑健性を示す。
• 広範なアブレーションスタディにより、木分解が層間の特徴滑らかさを効果的に軽減し、識別的情報を保持していることが確認された。
• グラフ拡散を用いた多ホップ依存関係の統合は、特に深層アーキテクチャにおいて性能向上をもたらし、理論的・実証的意義を裏付けた。
• ワイドパス型のTDGNN-wは、異型性データセットにおいてより顕著な性能向上を示しており、広い多層情報統合の利点を示している。
• パラメータ解析により、TDGNNは標準的なGNNとは異なり、深さが増しても過剰な滑らかさが低く抑えられることを明らかにした。