[論文レビュー] How Universal Polynomial Bases Enhance Spectral Graph Neural Networks: Heterophily, Over-smoothing, and Over-squashing

Keke Huang, Yu Guang Wang+2 more|arXiv (Cornell University)|May 21, 2024

Computational Drug Discovery Methods被引用数 7

ひとこと要約

本論文は UniBasis および UniFilter を提案する。適応的ヘテロフィーと従来のホモフィー基底を組み合わせた普遍的な多項式基底として、さまざまなヘテロフィーレベルにわたってスペクトル GNN を改善し、過平滑化と過度のスクアッシュを緩和する。

ABSTRACT

Spectral Graph Neural Networks (GNNs), alternatively known as graph filters, have gained increasing prevalence for heterophily graphs. Optimal graph filters rely on Laplacian eigendecomposition for Fourier transform. In an attempt to avert prohibitive computations, numerous polynomial filters have been proposed. However, polynomials in the majority of these filters are predefined and remain fixed across different graphs, failing to accommodate the varying degrees of heterophily. Addressing this gap, we demystify the intrinsic correlation between the spectral property of desired polynomial bases and the heterophily degrees via thorough theoretical analyses. Subsequently, we develop a novel adaptive heterophily basis wherein the basis vectors mutually form angles reflecting the heterophily degree of the graph. We integrate this heterophily basis with the homophily basis to construct a universal polynomial basis UniBasis, which devises a polynomial filter based graph neural network - UniFilter. It optimizes the convolution and propagation in GNN, thus effectively limiting over-smoothing and alleviating over-squashing. Our extensive experiments, conducted on a diverse range of real-world and synthetic datasets with varying degrees of heterophily, support the superiority of UniFilter. These results not only demonstrate the universality of UniBasis but also highlight its proficiency in graph explanation.

研究の動機と目的

• スペクトルグラフフィルタがグラフのヘテロフィー度とどのように整合すべきかを解明する。
• 適応的ヘテロフィー基底を開発し、それをホモフィー基底と組み合わせて普遍的な多項式基底（UniBasis）を形成する。
• ヘテロフィーのレベルを超えて過平滑化と過スクアッシュを抑制する一般的なグラフフィルタ（UniFilter）を作成する。
• UniBasis/UniFilter の理論的および実証的検証を提供し、スペクトル特性の説明を含む。

提案手法

• スペクトルグラフフィルタを定義し、フィルタ周波数とグラフのヘテロフィーに Theorem 3.1 によって関連づける。
• パラメータ tau で制御される適応的ヘテロフィー基底と伝統的なホモフィー基底を統合して UniBasis を構築する。
• UniFilter を UniBasis 成分の加重和として形成し、その後分類のための MLP を適用する。
• 性質を証明する: (i) ホモフィー基底の収束が過平滑化につながる（Theorem 4.1）、(ii) ヘテロフィー基底の設計で角度 theta が h に結びつく（Theorem 4.2、Algorithm 1、Theorem 4.3）、(iii) UniFilter は過平滑化を防ぎ（Theorem 5.2）および過スクアッシュを緩和する（Theorem 5.3）。
• 基底構築の計算量が O(K(m+n)) であることを示す複雑性分析を提供する。
• 学習されたスペクトルとウェイトを検査することで UniBasis がグラフの説明を可能にすることを示す。

実験結果

リサーチクエスチョン

• RQ1 スペクトル GNN の多項式基底は、さまざまなグラフのヘテロフィー度にどのように適応すべきか。
• RQ2 ホモフィーと適応的ヘテロフィー基底を組み合わせた普遍的な多項式基底は、ホモフィーグラフとヘテロフィーグラフの両方で性能を向上させることができるか。
• RQ3 提案された UniFilter はスペクトルの説明可能性を維持しつつ、過平滑化と過スクアッシュを緩和するか。
• RQ4 多様なデータセットに対して、UniFilter は多項式フィルタおよびモデル最適化ベースラインと比較してどの程度の性能を示すか。

主な発見

• UniFilter は、ホモフィーグラフとヘテロフィーグラフの両方を含む多くのデータセットで最高精度を達成する。
• UniFilter は 20 のベースラインを上回り、Chameleon と Squirrel（ヘテロフィー系データセット）で顕著な改善を示す。
• UniBasis のスペクトルはデータセット固有のスペクトル特性を明らかにし、グラフの説明を支持する。
• ヘテロフィー基底は、基底ベクトルが均等な角度になるように（theta = (1−h)π/2）、ヘテロフィーと周波数を一致させるよう構築されている。
• 過平滑化は理論的に緩和され、過スクアッシュは UniFilter の回転可能な畳み込み行列によって緩和される。
• ヘテロフィー基底の構築の複雑さはホップ数とグラフサイズに対して線形で、O(K(m+n))。