[論文レビュー] Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification?

Sitao Luan, Chenqing Hua+6 more|arXiv (Cornell University)|Sep 12, 2021

Advanced Graph Neural Networks参考文献 40被引用数 44

ひとこと要約

論文は異質性がGNNにとって必ずしも有害ではないと主張し、類似性ベースの集約指標と多様化操作を導入し、Adaptive Channel Mixing (ACM) を提示して低周波/高周波のグラフ情報の両方を活用し、実世界のノード分類タスクで強い向上を達成します。

ABSTRACT

Graph Neural Networks (GNNs) extend basic Neural Networks (NNs) by using the graph structures based on the relational inductive bias (homophily assumption). Though GNNs are believed to outperform NNs in real-world tasks, performance advantages of GNNs over graph-agnostic NNs seem not generally satisfactory. Heterophily has been considered as a main cause and numerous works have been put forward to address it. In this paper, we first show that not all cases of heterophily are harmful for GNNs with aggregation operation. Then, we propose new metrics based on a similarity matrix which considers the influence of both graph structure and input features on GNNs. The metrics demonstrate advantages over the commonly used homophily metrics by tests on synthetic graphs. From the metrics and the observations, we find some cases of harmful heterophily can be addressed by diversification operation. With this fact and knowledge of filterbanks, we propose the Adaptive Channel Mixing (ACM) framework to adaptively exploit aggregation, diversification and identity channels in each GNN layer to address harmful heterophily. We validate the ACM-augmented baselines with 10 real-world node classification tasks. They consistently achieve significant performance gain and exceed the state-of-the-art GNNs on most of the tasks without incurring significant computational burden.

研究の動機と目的

• 異質性がGNNを常に害するという一般論を検討し、集約が依然として有効であるケースを特定する。
• グラフ構造とノード特徴がGNNの出力に与える影響を類似性マトリクスを通じて捉える新しい指標を開発する。
• 分散化（高周波）チャンネルが集約と組み合わせることで有害な異質性に対処できることを示す。
• ノードごとにLP、HP、Identityチャンネルを適応的に組み合わせるAdaptive Channel Mixing (ACM) フレームワークを提案・検証する。
• ACMを用いたベースラインが10の実世界ノード分類タスクで一貫して改善を示す。

提案手法

• 後向伝播に基づく類似性マトリクス S(Â,X) = (ÂX)(ÂX)ᵀ を構築し、集約がノード特徴とどのように相互作用するかを測定する。
• Aggregation Similarity 指標 Sagg と、Â を適用した後にクラス一貫性がどれだけ保たれるかを測る修正版 Sagg^M を定義する。
• Hagg および Hagg^M を導入し、集約演算子の影響を取り入れた集約志向の同質性指標とする。
• Hagg^M が従来の辺/ノード/クラス同質性指標よりも synthetic グラフ上でGNNの性能の予測に優れていることを示す。
• Diversification Distinguishability DD を開発し、高周波（分散化）フィルタリングの恩恵を受けうるノードを識別する。
• LP が集約、HP が多様化、Identity が直接パスを表す2チャンネル/3チャンネルのフィルタバンク解釈を提案し、組み合わせたときに完全再構成が可能である。
• Adaptive Channel Mixing (ACM/ACMII) を定式化し、各ノードのチャンネル重みを学習して LP、HP、Identity チャンネルを各GNN層で組み合わせる。
• 複雑さの推定を示し、ACM は実用的にはほぼ2倍の実行時間になることを示すとともに、実データでの 詳細なアブレーションと比較を行う。
• 10 の実世界ノード分類データセットで ACM 増強モデルを検証し、ベースラインに対して一貫した利点を示す。

実験結果

リサーチクエスチョン

• RQ1 異質性の下でグラフの集約はノード識別性を害するのか、それとも助けるのか。
• RQ2 類似性ベースの集約指標は従来の同質性指標よりもGNNの性能を良く予測できるのか。
• RQ3 実務的には分散化（高周波フィルタリング）で有害な異質性にどの程度対処できるのか。
• RQ4 集約・分散化・Identity チャンネルを同時に活用する適応的チャンネル混合戦略は、異質なグラフ全体でノード分類を改善するのか。

主な発見

• 異質性があるグラフでも集約ベースのGNNが常に害されるわけではなく、集約後も一部の異質性グラフは識別可能である。
• グラフ構造とノード特徴の両方を考慮する類似性ベースの集約指標（SaggとHagg）は、従来の同質性指標よりも synthetic データ上でGNNの性能を説明しうる。
• 分散化（高周波）は neighborhood の違いを利用して一部の有害な異質性を対処でき、グラフ信号のフィルタバンク的見方を支持する。
• Adaptive Channel Mixing (ACM/ACMII) フレームワークはLP、HP、Identity チャンネルをノード条件付きの重みで効果的に組み合わせ、10 の実世界データセットで有意な改善を生む。
• ACM 増強ベースラインはほとんどのタスクで最先端のGNNと比較して一貫して上回り、基準と比べて epoch あたりの計算負荷はおおむね倍程度になるものの過度ではない。
• アブレーション研究は HP および Identity チャンネルからの寄与と適応的混成機構が複数データセットで確認できる。