[論文レビュー] Revisiting Heterophily For Graph Neural Networks

Sitao Luan, Chenqing Hua+6 more|arXiv (Cornell University)|Oct 14, 2022

Advanced Graph Neural Networks被引用数 70

ひとこと要約

本論文はポスト集約ノード類似性で同質性を再定義し、集約・多様化・同一性チャンネルを活用するAdaptive Channel Mixing (ACM)を導入、ACMがヘテロフィリックグラフでノード分類を改善することを示す。

ABSTRACT

Graph Neural Networks (GNNs) extend basic Neural Networks (NNs) by using graph structures based on the relational inductive bias (homophily assumption). While GNNs have been commonly believed to outperform NNs in real-world tasks, recent work has identified a non-trivial set of datasets where their performance compared to NNs is not satisfactory. Heterophily has been considered the main cause of this empirical observation and numerous works have been put forward to address it. In this paper, we first revisit the widely used homophily metrics and point out that their consideration of only graph-label consistency is a shortcoming. Then, we study heterophily from the perspective of post-aggregation node similarity and define new homophily metrics, which are potentially advantageous compared to existing ones. Based on this investigation, we prove that some harmful cases of heterophily can be effectively addressed by local diversification operation. Then, we propose the Adaptive Channel Mixing (ACM), a framework to adaptively exploit aggregation, diversification and identity channels node-wisely to extract richer localized information for diverse node heterophily situations. ACM is more powerful than the commonly used uni-channel framework for node classification tasks on heterophilic graphs and is easy to be implemented in baseline GNN layers. When evaluated on 10 benchmark node classification tasks, ACM-augmented baselines consistently achieve significant performance gain, exceeding state-of-the-art GNNs on most tasks without incurring significant computational burden.

研究の動機と目的

• 現在の同質性指標とそのヘテロフィリ影響をGNNに説明する際の限界を批判的に評価する。
• 学習へのグラフ構造効果をよりよく特徴づけるためのポスト集約類似性ベースのフレームワークを提案する。
• ノード分類のために集約、多様化、Identity チャンネルを適応的に結合するACMを開発する。

提案手法

• ポスト集約ノード類似性 S(Â,X) = ÂX(ÂX)ᵀ を定義し、新しい集約ベースの同質性指標 H_agg および H_agg^M を定義する。
• 高域通過フィルタ I-Â による多様化が、特定の有害なヘテロフィリケースを対処する。
• 三つのチャネル（LP、HP、Identity）を用い、それらを結合するノードごとの重み付けを備えたAdaptive Channel Mixing (ACM) フレームワークを提案する。
• 明示的な特徴抽出、ノードごとのチャネル重み、および最終的な集約を伴う2つのACMの実装（ACM および ACMII）を提供する。
• 複雑さを分析する：ACMはパラメータと演算を追加し、経験的アブレーションと効率性の議論を伴う。

実験結果

リサーチクエスチョン

• RQ1 既存の同質性指標は、グラフ集約後のヘテロフィリ影響を十分に捉えられていないのではないか。
• RQ2 ヘテロフィリを局所的かつノード固有の方法で軽減する高域通過フィルタによる多様化は有用か。
• RQ3 適応的なマルチチャネルフレームワーク（ACM）は、ヘテロフィリグラフ上で一チャネルのGNNベースラインを上回るか。
• RQ4 ACM/ACMIIを用いる際の精度向上と計算コストの現実的なトレードオフはどうなるか。
• RQ5 ACMベースのモデルはヘテロフィリおよびホモフィリのベンチマークデータセットの両方でどのように性能を示すか。
• RQ6 ヘテロフィリの是正として多様化を裏付ける理論的保証や条件は何か。

主な発見

• 新しい集約ベースの同質性指標は、従来のエッジ/ノード/クラス指標よりもGNNの性能と相関する。
• 高域通過フィルタによる多様化は、一部の局所的近傍で有害なヘテロフィリを解決するのに役立つ。
• ACMとACMIIは7つのヘテロフィリベンチマークで一貫してベースラインのGNNを改善し、多くのタスクで最先端モデルを上回る。
• ACMベースのモデルはホモフィリックグラフでも競争力のある性能を発揮し、ベースラインと比較して計算オーバーヘッドは許容範囲。
• ノードごとにLP、HP、Identityチャネルの重みを学習する適応的なチャネル混合により、多様な局所ヘ테ロフィリに柔軟に対応できる。
• アブレーション研究では、HPとIdentityチャネルを適応混合で追加することで、単純なチャネル積み上げより意味のある利得が得られる。