[論文レビュー] Unifying over-smoothing and over-squashing in graph neural networks: A physics informed approach and beyond

Zhiqi Shao, Dai Shi+4 more|arXiv (Cornell University)|Sep 6, 2023

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、物理的制約を組み込んだグラフニューラルネットワークであるMHKGとその一般化形G-MHKGを提案する。この手法は、グラフの熱方程式の時間方向を逆転させることでハイパスフィルタリング効果を生成し、過剰なスムージングと過剰なスクイーズの両方を統一的に緩和する。マルチスケールの熱核フィルタリング関数を用いて、ノード特徴量のスムージングとシャープニングのバランスを図り、過剰なスムージングと過剰なスクイーズの根本的なトレードオフを明らかにする。G-MHKGは、同型性を持つグラフおよび異型性を持つグラフの両方で、最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have emerged as one of the leading approaches for machine learning on graph-structured data. Despite their great success, critical computational challenges such as over-smoothing, over-squashing, and limited expressive power continue to impact the performance of GNNs. In this study, inspired from the time-reversal principle commonly utilized in classical and quantum physics, we reverse the time direction of the graph heat equation. The resulted reversing process yields a class of high pass filtering functions that enhance the sharpness of graph node features. Leveraging this concept, we introduce the Multi-Scaled Heat Kernel based GNN (MHKG) by amalgamating diverse filtering functions' effects on node features. To explore more flexible filtering conditions, we further generalize MHKG into a model termed G-MHKG and thoroughly show the roles of each element in controlling over-smoothing, over-squashing and expressive power. Notably, we illustrate that all aforementioned issues can be characterized and analyzed via the properties of the filtering functions, and uncover a trade-off between over-smoothing and over-squashing: enhancing node feature sharpness will make model suffer more from over-squashing, and vice versa. Furthermore, we manipulate the time again to show how G-MHKG can handle both two issues under mild conditions. Our conclusive experiments highlight the effectiveness of proposed models. It surpasses several GNN baseline models in performance across graph datasets characterized by both homophily and heterophily.

研究の動機と目的

• GNNにおける過剰なスムージング、過剰なスクイーズ、および表現力の制限という長年の課題を統一的に扱う。
• 物理学における時間反転のインスピレーションを借りて、過剰なスムージングと過剰なスクイーズの背後にある関係を解明する。
• 特徴量のスムージング、トポロジーの圧縮、表現力の制御を体系的に行える柔軟で解析可能なGNNフレームワークを構築する。
• 過剰なスムージングと過剰なスクイーズが、スペクトル領域におけるフィルタリング関数の性質を通じて根本的に関連していることを示す。

提案手法

• グラフの熱方程式の時間方向を逆転させることで、時間反転プロセスを生成し、ハイパスフィルタリングとして機能させることで特徴量のシャープネスを向上させる。
• 熱核と逆熱核から導出されたローパス（スムージング）およびハイパス（シャープニング）フィルタリング関数を組み合わせることで、マルチスケールの熱核GNN（MHKG）を構築する。
• MHKGを一般化してG-MHKGを構築し、フィルタリング関数の柔軟な選択と、学習可能なパラメータやスペクトルフィルタリング行列といったモデル部品の制御を可能にする。
• グラフラプラシアンのスペクトル分解を用いて、フィルタリング操作を固有基底で表現することで、エネルギー動態と特徴量伝搬の解析的制御を可能にする。
• G-MHKGに時間操作戦略を導入し、特に異型性を持つグラフにおいて過剰なスムージングと過剰なスクイーズの両方を効果的に処理できるようにする。
• グラフフレームレットのタイトネス原理を活用し、G-MHKG-Fをタイトでないバージョンとして解釈することで、多様なグラフタイプにおいても頑健な性能を実現する。

Figure 1 : Top: The evolution of the node feature of diffusion (smoothing) process (i.e., from distinct features to over-smoothing). Bottom: the reverse diffusion (sharpening) process (i.e., from nearly identical to distinct node features).

実験結果

リサーチクエスチョン

• RQ1 過剰なスムージングと過剰なスクイーズは、物理学的原則を用いて1つの理論的枠組みで統一できるか？
• RQ2 過剰なスムージングと過剰なスクイーズの本質的関係は何か？ そして、フィルタリング関数の性質によって特徴付けられるか？
• RQ3 1つのGNNアーキテクチャが同時に過剰なスムージングと過剰なスクイーズの両方を効果的に緩和できるか？ どのような条件下で可能か？
• RQ4 正弦波的・指数的などの異なるフィルタリング関数は、同型性および異型性を持つグラフの両方でモデル性能にどのように影響を与えるか？
• RQ5 実用的なグラフ学習タスクにおいて、フレームレットベースのフィルタリングのタイトネスはどの程度重要か？

主な発見

• 提案されたG-MHKGモデルは、同型性を持つグラフ（Cora, Citeseer, PubMed）および異型性を持つグラフ（Cornell, Texas, Wisconsin）の両方で、最先端の性能を達成する。
• G-MHKG-FはCornellで88.2%、Texasで86.1%、Wisconsinで84.7%の精度を達成し、GAT、GIN、UFGなどのベースラインモデルを上回る。
• 過剰なスムージングと過剰なスクイーズの間には根本的なトレードオフが存在する：ハイパスフィルタリングによる特徴量のシャープネスの向上は過剰なスクイーズを増加させ、逆にそれらの関係は逆転する。
• G-MHKGにおける時間操作戦略により、異型性を持つグラフにおいて両方の問題を効果的に処理できるが、同型性を持つグラフでは、両方を同時に完全に解消することは理論的に不可能である。
• MHKG-Iは負の固有値スケーリングに起因する正定値でないフィルタリング行列のため性能が劣り、適切なフィルタリング関数設計の重要性を浮き彫りにする。
• G-MHKG-Fは異型性を持つグラフにおいて、タイトなグラフフレームレット（UFG）と同等またはそれ以上の性能を示すため、実用的性能においてタイトネスが必須ではない可能性を示唆する。

Figure 2 : The figure on the left represents different types of HFD filtering outcomes and the trade-off between two issues. One can check that to induce more sharpening (filtering function from bottom to top), the model will suffer more from OSQ. The figure on the right illustrates the situation de