[論文レビュー] A Fractional Graph Laplacian Approach to Oversmoothing

Sohir Maskey, Raffaele Paolino+2 more|arXiv (Cornell University)|May 22, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、対称化された有向ラプラシアンを用いてディリクレエネルギーを有向グラフへ一般化することで、有向および無向グラフの両方における過剰平滑化を軽減する分数階グラフラプラシアンニューラルODEフレームワークを提案する。この手法により、長距離ジャンプ確率が低く抑えられ、長距離情報伝達が可能となり、合成および実世界のグラフにおける多様な同型性レベルで優れた耐性を示す。

ABSTRACT

Graph neural networks (GNNs) have shown state-of-the-art performances in various applications. However, GNNs often struggle to capture long-range dependencies in graphs due to oversmoothing. In this paper, we generalize the concept of oversmoothing from undirected to directed graphs. To this aim, we extend the notion of Dirichlet energy by considering a directed symmetrically normalized Laplacian. As vanilla graph convolutional networks are prone to oversmooth, we adopt a neural graph ODE framework. Specifically, we propose fractional graph Laplacian neural ODEs, which describe non-local dynamics. We prove that our approach allows propagating information between distant nodes while maintaining a low probability of long-distance jumps. Moreover, we show that our method is more flexible with respect to the convergence of the graph's Dirichlet energy, thereby mitigating oversmoothing. We conduct extensive experiments on synthetic and real-world graphs, both directed and undirected, demonstrating our method's versatility across diverse graph homophily levels. Our code is available at https://github.com/RPaolino/fLode .

研究の動機と目的

• グラフニューラルネットワーク（GNN）が、特に有向グラフにおいて過剰平滑化のため長距離依存関係を捉えきれないという限界を是正すること。
• 対称化された有向ラプラシアンを用いて、無向グラフからのディリクレエネルギーおよび過剰平滑化の概念を有向グラフへ一般化すること。
• 過剰平滑化を回避しながら、遠く離れたノード間での効果的な情報伝達を可能にする柔軟で非局所的動的フレームワークを構築すること。
• 合成および実世界の有向および無向グラフを含む、多様なグラフタイプおよび同型性レベルにおいて、本手法の有効性を実証すること。

提案手法

• 本稿では、有向グラフにおけるディリクレエネルギーの一般化を可能にするために、有向グラフ用の対称化されたラプラシアンを導入し、滑らかさおよび過剰平滑化の理論的分析を可能にする。
• ノードの動的変化が有向ラプラシアンの分数階に従うニューラルグラフODEフレームワークを定式化し、非局所的かつ長距離の相互作用を可能にする。
• 標準的なGCNが内蔵する過剰平滑化を回避するため、分数階グラフラプラシアンニューラルODEを用いて連続的伝播をモデル化する。
• 理論的分析により、長距離ジャンプの確率が低く抑えられるとともに、ディリクレエネルギーの収束が保証されることを示し、過剰平滑化の軽減を裏付ける。
• 特に異型性および深層グラフ設定において、ディリクレエネルギーの収束を処理する柔軟性が、標準的なGCNよりも優れていることが示された。

実験結果

リサーチクエスチョン

• RQ1 過剰平滑化の概念を無向グラフから有向グラフへ一般化するにはどうすればよいか？
• RQ2 分数階グラフラプラシアンフレームワークは、有向グラフにおける過剰平滑化を効果的に軽減できるか、かつ長距離依存関係を保持できるか？
• RQ3 提案されたニューラルODEベースのアプローチは、標準的なGCNと比較して、ディリクレエネルギーの収束および特徴の滑らかさの観点でどのように異なるか？
• RQ4 本手法は、有向および無向グラフにおける多様な同型性レベルにおいて、ノード分類性能にどのような影響を及えるか？

主な発見

• 提案された分数階グラフラプラシアンニューラルODEフレームワークは、長距離ジャンプ確率を低く保つことで、有向および無向グラフの両方における過剰平滑化を効果的に軽減した。
• 有向ラプラシアンの分数階を用いた非局所的ダイナミクスを活用することで、効果的な長距離情報伝達が可能となった。
• 理論的分析により、本手法が固定点収束に起因する標準的なGCNとは異なり、ノード特徴の崩壊を防ぎつつディリクレエネルギーの収束を保証することが確認された。
• 合成および実世界のグラフにおける実験結果から、同型性レベルにかかわらず一貫した性能向上が得られ、標準GNNが失敗する異型性設定においても優れた性能を示した。