[論文レビュー] Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks

Sitao Luan, Mingde Zhao+3 more|arXiv (Cornell University)|Dec 21, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、従来のグラフ畳み込みネットワーク（GCN）に高周波（多様性化）フィルタリングを組み込むことでノードの同一性を保持し、表現学習を向上させる二チャネルフィルタバンクフレームワークを提案する。低周波（集約）と高周波（多様性化）のフィルタを組み合わせることで、特に異種性（heterophily）に傾向するグラフにおいてノードの区別可能性が向上し、9つのノード分類ベンチマークで顕著な精度向上を達成する。平均して1チャネルベースライン比2.58%から6.32%の向上を達成した。

ABSTRACT

The core operation of current Graph Neural Networks (GNNs) is the aggregation enabled by the graph Laplacian or message passing, which filters the neighborhood information of nodes. Though effective for various tasks, in this paper, we show that they are potentially a problematic factor underlying all GNN models for learning on certain datasets, as they force the node representations similar, making the nodes gradually lose their identity and become indistinguishable. Hence, we augment the aggregation operations with their dual, i.e. diversification operators that make the node more distinct and preserve the identity. Such augmentation replaces the aggregation with a two-channel filtering process that, in theory, is beneficial for enriching the node representations. In practice, the proposed two-channel filters can be easily patched on existing GNN methods with diverse training strategies, including spectral and spatial (message passing) methods. In the experiments, we observe desired characteristics of the models and significant performance boost upon the baselines on 9 node classification tasks.

研究の動機と目的

• 現在のGNNが低周波フィルタリングに過度に依存することでノード表現が同一視されてしまうという限界を解消すること。
• 標準的なGNNでしばしば無視されるグラフ信号の高周波（非滑らか）成分の役割を調査すること。
• アーキテクチャの再設計を要せず、既存のGNNに低周波（集約）と高周波（多様性化）の二重フィルタリング機構を組み込むプラグイン型フレームワークを開発すること。
• 実験的に高周波フィルタリングが、特に異種性が強いデータセットにおいて表現学習に顕著に寄与することを検証すること。
• トレーニング中に滑らかでない特徴と滑らかな特徴を動的にバランスさせるために、低周波および高周波成分の学習可能係数が果たす役割を示すこと。

提案手法

• 滑らかでないグラフ信号成分を捉えるために、低周波（LP）および高周波（HP）フィルタを並列に適用する二チャネルフィルタバンク（FB-GNN）フレームワークを提案する。
• グラフラプラシアンとそのスペクトル分解を用いてLPおよびHPフィルタを定義し、LPフィルタは局所的な滑らかさを捉え、HPフィルタはノード間の差を強調する。
• 属性付きグラフにおける入力特徴と出力ラベルの滑らかさを定量化するため、ディリクレエネルギーとグラフ信号エネルギーに基づく新しいS値指標を導入する。
• 最終表現におけるLPおよびHPフィルタの寄与度を動的にバランスさせるために、学習可能係数（αL および αH）を導入し、滑らかでない特徴と滑らかな特徴の適応的混合を可能にする。
• スペクトル的および空間的（メッセージパッシング）手法の両方に互換性を持つように、GCNやGraphSAINTといった既存のGNNに単純なアーキテクチャ変更を加えて二チャネル機構を統合する。
• 二本のブランチによる集約戦略を採用：一方のブランチは標準的な近隣ノード集約（LP）を実行し、もう一方のブランチはノード間の相違性を強調する高周波変換を適用する。

実験結果

リサーチクエスチョン

• RQ1 GNNにおける標準的な低周波集約を超えて、高周波フィルタリングの組み込みがノード表現学習を向上させるか？
• RQ2 グラフ信号の滑らかでない成分と滑らかな成分が、現実世界のノード分類タスクにおける性能にどのように寄与するか？
• RQ3 低周波および高周波フィルタの学習可能係数が、トレーニング中に滑らかでない特徴と滑らかな特徴をどれほど適応的にバランスさせるか？
• RQ4 提案された二チャネルフレームワークは、アーキテクチャの再設計なしに、既存のGNNアーキテクチャに効果的かつ効率的に統合可能か？
• RQ5 二チャネルアプローチによる性能向上は、同種性および異種性の程度が異なるデータセット間で一貫しているか？

主な発見

• 提案されたFB-GNNフレームワークは、1チャネルベースラインと比較して9つのノード分類タスクで平均2.58%から6.32%の性能向上を達成した。特にWisconsinやTexasなど異種性に傾向するデータセットで最大の向上を示した。
• Coraデータセットでは、非線形変換を適用した二チャネルモデルが87.50%の精度を達成し、1チャネル非線形ベースライン（84.69%）を2.81ポイント上回った。
• 深層GCN設定では、FB-GCNがさまざまな深さにおいて標準GCNを常に上回り、Coraデータセットで深さ16のとき最大8.04%の向上を記録した。
• アブレーションスタディの結果、非線形特徴抽出器と二チャネルアーキテクチャの両方が不可欠であり、特に9つのタスクのうち6つで学習されたαH > αLが示され、HP成分の寄与が顕著であった。
• トレーニング中の学習係数αLおよびαHの可視化から、滑らかでない出力が必要な際にはHP成分が動的に高い重み付けがなされていることが明らかになり、表現学習におけるその重要な役割が裏付けられた。
• S値指標は、現実世界のグラフにおける滑らかでない成分と滑らかな成分の混合を的確に定量化でき、両方の信号成分が効果的な表現学習に不可欠であることを確認した。