[論文レビュー] Two Sides of the Same Coin: Heterophily and Oversmoothing in Graph Convolutional Neural Networks

Yujun Yan, Milad Hashemi+3 more|arXiv (Cornell University)|Feb 12, 2021

Advanced Graph Neural Networks参考文献 43被引用数 25

ひとこと要約

この論文はノードレベルの指標を用いてGCNにおける過平滑化と異質親和性を同時に説明し、構造と特徴に基づくエッジ補正を用いて両方の問題に対処するGGCNを提案する。

ABSTRACT

In node classification tasks, graph convolutional neural networks (GCNs) have demonstrated competitive performance over traditional methods on diverse graph data. However, it is known that the performance of GCNs degrades with increasing number of layers (oversmoothing problem) and recent studies have also shown that GCNs may perform worse in heterophilous graphs, where neighboring nodes tend to belong to different classes (heterophily problem). These two problems are usually viewed as unrelated, and thus are studied independently, often at the graph filter level from a spectral perspective. We are the first to take a unified perspective to jointly explain the oversmoothing and heterophily problems at the node level. Specifically, we profile the nodes via two quantitative metrics: the relative degree of a node (compared to its neighbors) and the node-level heterophily. Our theory shows that the interplay of these two profiling metrics defines three cases of node behaviors, which explain the oversmoothing and heterophily problems jointly and can predict the performance of GCNs. Based on insights from our theory, we show theoretically and empirically the effectiveness of two strategies: structure-based edge correction, which learns corrected edge weights from structural properties (i.e., degrees), and feature-based edge correction, which learns signed edge weights from node features. Compared to other approaches, which tend to handle well either heterophily or oversmoothing, we show that {our model, GGCN}, which incorporates the two strategies performs well in both problems.

研究の動機と目的

• GCN層全体を通じてノードのプロファイルを理論的に基づくノードレベルの指標で表現する（相対的次数とノードレベルの異質性）。
• ノードの挙動に基づく過平滑化と異質親和性の問題を結合して説明する。
• 両方の問題を緩和するために、エッジを構造的およびノード特徴によって補正する方法を開発・検証する。

提案手法

• ノードレベルの同質性 h_i と層ごとの特徴を表す相対次数 or ioverline{r_i} を定義して、層を通じたノードの挙動を特徴づける。
• ノード指標とノード表現の移動、誤分類を結び付ける理論条件（定理3.1–3.3）を導出する。
• 層ごとにエッジのスカラー tau_{ij}^l を学習して隣接ノードの影響を調整することで、構造ベースのエッジ補正を提案する。
• ノード表現間のコサイン類似度を用いて正負のメッセージ経路を作成するように符号付きエッジ重みを学習することで、特徴ベースのエッジ補正を提案する。
• 表現の収束を遅らせ、安定性を向上させるための減衰的集約を組み込む。
• 2つのエッジ補正機構と減衰的集約を統合した統一モデルとしてGGCNを提示する。

実験結果

リサーチクエスチョン

• RQ1 ノードレベルの指標（相対次数とノードレベル同質性）は、GCNにおける過平滑化と異質親和性をどのように説明できるか？
• RQ2 構造と特徴に基づくエッジ補正戦略は過平滑化と異質親和性の両方を緩和できるか、また異なる同質性レベルを持つデータセットでどのように性能が変わるか？
• RQ3 符号付きエッジと層ごとの補正は、既存モデルと比べて過平滑化と異質親和性に対するGCNの頑健性を向上させるか？

主な発見

• 相対次数とノードレベル同質性の相互作用は、層を通じた3つのノード挙動を定義し、過平滑化と異質親和性を共同で説明する。
• 符号付きエッジ重みは、一定の誤り率と次数条件の下で両方の問題を緩和するのに役立つ。
• 構造ベースのエッジ補正は、次数に関連する性質を用いてエッジ重みを改善し、高同質性グラフでの過平滑化を防ぐ。
• 特徴ベースのエッジ補正は、コサインに基づく符号を用いて正の隣接影響と負の隣接影響を区別し、異質なグラフでのパフォーマンスを向上させる。
• 提案されたGGCNは、両方のエッジ補正戦略と減衰的集約を組み合わせ、同質性の高いデータセットでは競合的な結果を示しつつ高い異質性データセットで強力な性能を発揮する。