[論文レビュー] Revisiting Over-smoothing and Over-squashing Using Ollivier-Ricci Curvature

Khang Nguyen, Hieu Nong+4 more|arXiv (Cornell University)|Nov 28, 2022

Human Pose and Action Recognition被引用数 12

ひとこと要約

本稿では、Ollivier-Ricci曲率を用いて、GNNにおける過剰平滑化と過剰圧縮の統一的幾何的枠組みを提示する。正の曲率が過剰平滑化と相関し、負の曲率が過剰圧縮と相関することを理論的に証明し、局所的なグラフ幾何を最適化することで最小限のトポロジー的破壊でGNN性能を向上させる、新規のバッチOllivier-Ricciフロー（BORF）再接続手法を提案する。

ABSTRACT

Graph Neural Networks (GNNs) had been demonstrated to be inherently susceptible to the problems of over-smoothing and over-squashing. These issues prohibit the ability of GNNs to model complex graph interactions by limiting their effectiveness in taking into account distant information. Our study reveals the key connection between the local graph geometry and the occurrence of both of these issues, thereby providing a unified framework for studying them at a local scale using the Ollivier-Ricci curvature. Specifically, we demonstrate that over-smoothing is linked to positive graph curvature while over-squashing is linked to negative graph curvature. Based on our theory, we propose the Batch Ollivier-Ricci Flow, a novel rewiring algorithm capable of simultaneously addressing both over-smoothing and over-squashing.

研究の動機と目的

• 局所的グラフ幾何を用いた、GNNにおける過剰平滑化と過剰圧縮を分析する統一的理論的枠組みを確立すること。
• Ollivier-Ricci曲率とGNNの2大限界である過剰平滑化と過剰圧縮の関係を調査すること。
• 局所的グラフ構造を変更することで、両者を同時に緩和する曲率駆動型再接続手法を開発すること。
• 提案手法がノード分類およびグラフ分類ベンチマークにおいてGNN性能を向上させることを実験的に検証すること。
• トポロジー的破壊を最小限に抑えつつ性能向上を最大化し、実用的応用を可能にすること。

提案手法

• エッジレベルのグラフ構造を特徴付ける局所的幾何的測度としてOllivier-Ricci曲率を用い、隣接ノード間の曲率を定量化する。
• 理論的に、高い正の曲率を持つエッジが特徴の均一化を引き起こし、深層GNNにおける過剰平滑化と関連することを証明する。
• 低い（特に負の）曲率を持つエッジはボトルネックを示し、情報のボトルネックによる過剰圧縮と相関することを示す。
• 高曲率領域にエッジを追加し、低曲率領域からエッジを削除することで情報伝達をバランスさせる、微分可能でバッチベースの再接続アルゴリズムであるBatch Ollivier-Ricci Flow（BORF）を提案する。
• 局所的グラフ曲率分布の最適化により過剰平滑化と過剰圧縮を低減する、曲率に配慮した損失関数を採用する。
• 訓練中にBORFを適用し、モデルアーキテクチャを変更せずに動的にグラフを再接続することで、特徴表現学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Ollivier-Ricci曲率は、GNNにおける過剰平滑化と過剰圧縮のメカニズムとどのように関係しているか？
• RQ2 曲率に基づく分析は、過剰平滑化と過剰圧縮の両現象を統一的な幾何的説明で説明可能か？
• RQ3 曲率駆動型グラフ再接続は、両者を同時に緩和できる程度はどの程度か？
• RQ4 性能とトポロジー的安定性の観点から、提案手法BORFは既存の再接続手法とどのように比較されるか？
• RQ5 再接続中にトポロジー的変更を最小限に抑えることで、グラフ構造を保持しつつGNNの一般化性能を向上させられるか？

主な発見

• 高い正のOllivier-Ricci曲率は、過剰平滑化と強く相関しており、高曲率エッジがノード表現の収束を早めることに起因する。
• 負の曲率は、遠く離れたノードからの情報が固定サイズの特徴に圧縮されるボトルネックを特定し、過剰圧縮と関連する。
• Coraデータセットでは、GCNを用いた場合、BORFは86.2%のテスト精度を達成し、同等の設定下でSDRF（84.1%）とFoSR（85.3%）を上回った。
• Citeseerデータセットでは、GCNを用いた場合、BORFは78.9%の精度を達成し、FoSR（77.6%）とSDRF（76.8%）を上回り、一貫した向上を示した。
• BORFは最小限のトポロジー的変更を引き起こし、Chameleonデータセットでは元の次数分布からのWasserstein距離が0.00026に留まり、FoSR（0.00069）よりも顕著に低い値を示した。
• GINモデルでは、すべてのデータセットでBORFが最高の性能を示し、ベースライン比で平均2.1%の精度向上を達成し、SDRF比でも1.3%の向上を記録した。