[論文レビュー] Dirichlet Energy Enhancement of Graph Neural Networks by Framelet Augmentation

Jialin Chen, Yuelin Wang+4 more|arXiv (Cornell University)|Nov 9, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、フレームレット変換を用いてディリクレエネルギーを強化し、深層GNNにおける過剰な平滑化を軽減する、新しいグラフニューラルネットワーク層であるEnergy Enhanced Convolution (EEConv)を提案する。低周波成分に正の増分、高周波成分に負の増分を適用するフレームレット拡張を用いることで、EEConvは層間を厳密にディリクレエネルギーを増加させ、より深いアーキテクチャでも性能を維持可能となる。特に、異相性の高いグラフにおいては、32層モデルで最先端の結果を達成する。

ABSTRACT

Graph convolutions have been a pivotal element in learning graph representations. However, recursively aggregating neighboring information with graph convolutions leads to indistinguishable node features in deep layers, which is known as the over-smoothing issue. The performance of graph neural networks decays fast as the number of stacked layers increases, and the Dirichlet energy associated with the graph decreases to zero as well. In this work, we introduce a framelet system into the analysis of Dirichlet energy and take a multi-scale perspective to leverage the Dirichlet energy and alleviate the over-smoothing issue. Specifically, we develop a Framelet Augmentation strategy by adjusting the update rules with positive and negative increments for low-pass and high-passes respectively. Based on that, we design the Energy Enhanced Convolution (EEConv), which is an effective and practical operation that is proved to strictly enhance Dirichlet energy. From a message-passing perspective, EEConv inherits multi-hop aggregation property from the framelet transform and takes into account all hops in the multi-scale representation, which benefits the node classification tasks over heterophilous graphs. Experiments show that deep GNNs with EEConv achieve state-of-the-art performance over various node classification datasets, especially for heterophilous graphs, while also lifting the Dirichlet energy as the network goes deeper.

研究の動機と目的

• 深層グラフニューラルネットワーク（GNN）における過剰な平滑化問題に対処すること。これは、特徴の過剰な平滑化によりノード表現が区別できなくなるためである。
• メッセージパッシング中にディリクレエネルギーの増加を理論的に保証すること。これにより、残差接続のような実験的手法の限界を克服する。
• フレームレットシステムを用いてマルチスケールのグラフ表現を探索し、グラフ信号の低周波成分と高周波成分の両方をよりよく捉えること。
• 高次のディスクリプションを維持しながら、高いディリクレエネルギーを保つ実用的でスタック可能なGNN層（EEConv）を設計すること。これにより、異相性の高いグラフベンチマークでの性能が向上する。

提案手法

• 本手法は、グラフ信号を1つの低周波成分と2つの高周波成分に分解することで、ノード特徴のマルチスケール解析を可能にする。
• フレームレット拡張は、隣接行列に低周波成分に正の増分、高周波成分に負の増分を加えることで、ディリクレエネルギーを向上させる。
• この拡張戦略の下で、ディリクレエネルギーが厳密に増加することが理論的に証明され、深層ネットワークにおけるエネルギーの安定性が保証される。
• フレームレット係数は元のグラフサイズに再構成され、非線形活性化関数を通過することで、EEConv層が構成される。
• EEConv層はフレームレット変換に由来するマルチホップアグリゲーション特性を継承しており、すべてのホップをカバーする長距離依存性を捉える。
• 本手法は、ヒート拡散を含む、他のラプラシアンベースのメッセージパッシングモデルに対しても拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 フレームレットに基づくマルチスケール表現は、深層GNNにおけるディリクルエネルギーの向上に有効であり、過剰な平滑化を軽減できるか？
• RQ2 提案されたフレームレット拡張戦略は、メッセージパッシング中にディリクルエネルギーを厳密に増加させることを理論的に保証できるか？
• RQ3 低周波成分と高周波成分のバランスが、異相性の高いグラフ設定におけるノードの区別可能性にどのように影響するか？
• RQ4 EEConvは、標準的なGCNの深さの限界を超えて、スタックされた層数が増加しても性能を維持または向上できるか？

主な発見

• 32層のEE-UFGは、ChameleonやCornellなどの異相性の高いデータセットで最先端の性能を達成し、すべてのベースラインを上回る。
• EE-UFGでは、層間を貫いてディリクルエネルギーが高く安定している。これに対して、EGNNのようなベースラインではエネルギーの減少と不安定さが観察される。
• フレームレット拡張は、低周波成分に正の増分、高周波成分に負の増分を適用することで、ディリクルエネルギーの上昇に成功している。
• モデルは深さに伴う性能の安定性とスケーラビリティに優れ、通常の深層GNNで見られる性能の低下を遅らせる。
• 実験により、高周波成分が異相性の高いグラフにおいて重要であり、EEConvがマルチスケール学習によりその寄与を効果的に保持していることが確認された。