[論文レビュー] Improving Graph Neural Networks with Learnable Propagation Operators

Moshe Eliasof, Lars Ruthotto+1 more|arXiv (Cornell University)|Oct 31, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、平滑化と鋭化の両方の伝搬演算子を混合できるチャネルごとに学習可能な重み ω を導入することで、グラフニューラルネットワーク（GNN）の性能を向上させる学習可能な伝搬演算子フレームワーク ω GNN を提案する。混合符号の演算子とチャネルごとの学習を可能にすることで、過剰な平滑化を防ぎ、表現力を向上させ、15の実世界データセットにおいてノード分類およびグラフ分類タスクで最先端の性能を達成した。

ABSTRACT

Graph Neural Networks (GNNs) are limited in their propagation operators. In many cases, these operators often contain non-negative elements only and are shared across channels, limiting the expressiveness of GNNs. Moreover, some GNNs suffer from over-smoothing, limiting their depth. On the other hand, Convolutional Neural Networks (CNNs) can learn diverse propagation filters, and phenomena like over-smoothing are typically not apparent in CNNs. In this paper, we bridge these gaps by incorporating trainable channel-wise weighting factors $ω$ to learn and mix multiple smoothing and sharpening propagation operators at each layer. Our generic method is called $ω$GNN, and is easy to implement. We study two variants: $ω$GCN and $ω$GAT. For $ω$GCN, we theoretically analyse its behaviour and the impact of $ω$ on the obtained node features. Our experiments confirm these findings, demonstrating and explaining how both variants do not over-smooth. Additionally, we experiment with 15 real-world datasets on node- and graph-classification tasks, where our $ω$GCN and $ω$GAT perform on par with state-of-the-art methods.

研究の動機と目的

• 固定で非負の伝搬演算子を用いる標準的な GNN の限界に対処する。これは過剰な平滑化と表現力の低下を引き起こす。
• GNN と CNN の間のギャップを埋める。CNN の深度方向畳み込みに類似した、学習可能な多様な伝搬フィルタを可能にする。
• 深層 GNN における過剰な平滑化問題を克服する。学習可能な重み ω を用いて、平滑化と鋭化の両方の演算子を学習し、混合可能にする。
• 伝搬演算子の柔軟な混合を可能にする学習可能なチャネルごとの重み係数を導入することで、GNN の表現力を向上させる。
• 2 種類の変種（ω GCN と ω GAT）を用いて、多様な実世界データセットにおける ω GNN の有効性を示す。

提案手法

• 各層で複数の伝搬演算子への寄与を制御する学習可能な重み係数 ω を導入し、平滑化と鋭化の効果を動的に混合可能にする。
• 標準的な GNN レイヤーの一般化として ω GNN を定式化する：f^{(l+1)} = σ(S^{(l)} f^{(l)} K^{(l)}) で、S^{(l)} を基本演算子のチャネルごとの学習可能な重み付き組み合わせに置き換える。
• 2 種類の変種を実装する：ベース演算子として対称正規化された隣接行列を用いる ω GCN と、マルチヘッドアテンションをベース演算子として用いる ω GAT。
• 各チャネルと層ごとに学習可能な重み ω^{(l)} を持つ 1×1 畳み込みを適用し、異なる伝搬演算子の寄与を混合する。これにより、深さ方向に分離された畳み込みを模倣する。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで訓練し、ω が各層とチャネルに対して最適な演算子混合を自己適応的に学習できるようにする。
• 理論的分析により、ω が層の深さ L に反比例してスケーリングされること（ω ∝ 1/L）を示し、特徴の多様性を維持することで過剰な平滑化を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 学習可能なチャネルごとの重み係数 ω は、符号が混合された伝搬演算子を可能にすることで、深層 GNN における過剰な平滑化を防げるか？
• RQ2 固定で非負の伝搬演算子と比較して、学習可能な ω の導入が GNN の表現力にどの程度向上効果をもたらすか？
• RQ3 ω GNN の性能は、多様なノード分類およびグラフ分類ベンチマークにおいて、最先端の GNN と比べてどうか？
• RQ4 ω のスケーリング特性（例：ω ∝ 1/L）は理論的予測と一致し、深層アーキテクチャにおける安定した学習に寄与するか？
• RQ5 ω GNN は GCN や GAT などの異なる GNN アーキテクチャに一般化可能であり、性能とロバスト性を維持できるか？

主な発見

• ω GNN の変種（ω GCN と ω GAT）は、15 の実世界データセットで最先端の性能を達成し、TUDatasets では PTC で 95.2%、MUTAG で 94.6% の精度を記録した。
• アブレーションスタディにより、ω GNN が過剰な平滑化を防ぐことが確認された。標準的な GNN とは異なり、層の深さが増しても精度が安定または向上する。
• 平均的な ω 値が層全体で 1/L に比例してスケーリングされることを確認し、理論的予測（深さに伴い ω を減少させることで特徴の多様性を維持）が裏付けられた。
• ω GCN を用いた Cora データセットでは 64 層で 85.9% の精度を達成し、深さに強いロバストネスを示した。一方、標準的な GNN は通常 8～16 層を超えると過剰に平滑化する。
• 学習された ω 値により、可視化と理論的分析の両方で、平滑化と鋭化の両方の演算子の混合が可能であることが示された。非負の演算子では達成できない、より優れた特徴表現が可能になった。
• ω GAT は多くのベンチマークで ω GCN を上回り、NCI1 で 84.4%、NCI109 で 83.6% の精度を達成した。アテンションベースの演算子混合の有効性が裏付けられた。