[論文レビュー] Not too little, not too much: a theoretical analysis of graph (over)smoothing

Nicolas Keriven|arXiv (Cornell University)|May 24, 2022

Advanced Graph Neural Networks被引用数 24

ひとこと要約

この論文は、潜在空間のランダムグラフモデルの下で、線形 GNN における有限量の平均集約が過度平滑化が起こる前の学習性能を改善できることを理論的に分析して示している。

ABSTRACT

We analyze graph smoothing with \emph{mean aggregation}, where each node successively receives the average of the features of its neighbors. Indeed, it has quickly been observed that Graph Neural Networks (GNNs), which generally follow some variant of Message-Passing (MP) with repeated aggregation, may be subject to the oversmoothing phenomenon: by performing too many rounds of MP, the node features tend to converge to a non-informative limit. In the case of mean aggregation, for connected graphs, the node features become constant across the whole graph. At the other end of the spectrum, it is intuitively obvious that some MP rounds are necessary, but existing analyses do not exhibit both phenomena at once: beneficial ``finite'' smoothing and oversmoothing in the limit. In this paper, we consider simplified linear GNNs, and rigorously analyze two examples for which a finite number of mean aggregation steps provably improves the learning performance, before oversmoothing kicks in. We consider a latent space random graph model, where node features are partial observations of the latent variables and the graph contains pairwise relationships between them. We show that graph smoothing restores some of the lost information, up to a certain point, by two phenomenon: graph smoothing shrinks non-principal directions in the data faster than principal ones, which is useful for regression, and shrinks nodes within communities faster than they collapse together, which improves classification.

研究の動機と目的

• 平均集約型 GNN における過度平滑化現象の動機付けと形式化。
• 潜在空間のランダムグラフモデルの下で有限量の平滑化が学習性能を改善できることを示す。
• 回帰・分類タスクに対して厳密な解析を提供し、最適な平滑化レベルを示す。
• データの幾何学とグラフ構造に依存して、平滑化が有益な場合とそうでない場合を特徴づける。

提案手法

• z^{(k)}_i = L^k z_i で、L はランダムウォーク正規化隣接行列となる、平均集約を用いた単純化した線形 GNN を分析する。
• W というガウスカーネル結合を用いて潜在変数の投影としてノード特徴をモデル化し、グラフ構造と特徴・ラベルを結びつける。
• スムージングされた特徴量上のリッジ正則化最小二乗法で学習を定義し、テストリスク R^{(k)} を検討する。
• R^{(0)} の式を導出し、特定の条件下で R^{(1)} < R^{(0)}、R^{( ext{infty})} が過度平滑化の極限を表すことを示す。
• ガウス潜在空間での集中不等式を用いた確率的境界と漸近解析を提供する。
• 固有値ベースの解析を通じて、平滑化が主成分以外の方向を主成分より速く縮小する直感を示す。」] ,
• research_questions
• 研究課題
• :[

実験結果

リサーチクエスチョン

• RQ1 有限の平滑化を介した平均集約が、過度平滑化が起こる前に学習性能を改善することができるか？
• RQ2 回帰と分類のために非自明な最適平滑化ステップ k* が存在する条件は？
• RQ3 潜在空間のランダムグラフモデルは、情報保持と平滑化のトレードオフをどのように示すか？
• RQ4 平滑化がコミュニティを崩壊するよりも早く縮小させる仕組みは何で、それが学習タスクにどう影響するか？

主な発見

• 最適な有限の平滑化ステップ k* > 0 が存在し、テストリスクが k = 0 および k = ∞ の両方より低くなる領域が存在する。
• 回帰では、Assumption 1 の下で1ステップの平滑化がリスクを低減し、リスクは平滑化された共分散 Σ^{(1)} の関数で近似される。
• ガウス潜在変数モデルでは、主成分方向の分散を実質的に低減し、回帰ベクトルが高分散固有ベクトルと一致する場合に回帰性能が向上する。
• 分類では、適切な条件 on μ と M の下で、無平滑化と無限平滑化の両方よりも、平滑化された特徴のリスクが低くなる最適な平滑化レベルがある。
• 過度平滑化の極限は特徴量が定数に収束することにつながり、有限平滑化では情報を回復できる状況と対照を成すことを検証する。