[論文レビュー] PairNorm: Tackling Oversmoothing in GNNs

Lingxiao Zhao, Leman Akoglu|arXiv (Cornell University)|Sep 26, 2019

Advanced Graph Neural Networks参考文献 19被引用数 158

ひとこと要約

PairNorm は、高速でパラメータ無しの正規化層を導入し、深い GNN での過平滑化を防ぎ、GCN、GAT、SGC などのより深いモデルを性能低下なしに可能にし、欠損機能設定での利点を示します。

ABSTRACT

The performance of graph neural nets (GNNs) is known to gradually decrease with increasing number of layers. This decay is partly attributed to oversmoothing, where repeated graph convolutions eventually make node embeddings indistinguishable. We take a closer look at two different interpretations, aiming to quantify oversmoothing. Our main contribution is PairNorm, a novel normalization layer that is based on a careful analysis of the graph convolution operator, which prevents all node embeddings from becoming too similar. What is more, PairNorm is fast, easy to implement without any change to network architecture nor any additional parameters, and is broadly applicable to any GNN. Experiments on real-world graphs demonstrate that PairNorm makes deeper GCN, GAT, and SGC models more robust against oversmoothing, and significantly boosts performance for a new problem setting that benefits from deeper GNNs. Code is available at https://github.com/LingxiaoShawn/PairNorm.

研究の動機と目的

• 深い GNN における過平滑化現象を調査し、それがノード表現に与える影響を定量化する。
• 遠くのノード埋め込みが過度に類似しすぎるのを防ぐ普遍的な正規化層を提案する。
• GNN 層間に挿入できる、単純でアーキテクチャに依存せず、パラメータ無しの手法を開発する。
• 実世界のグラフと欠損機能のシナリオ（SSNC-MV）における PairNorm の有効性を示す。

提案手法

• グラフ畳み込みをラプラシアン平滑化の形として分析し、グラフ正則化最小二乗問題（GRLS）ビューと関連づける。
• PairNorm を層間での総対間二乗距離（TPSD）を一定に保つ中心化・スケーリングの二段階正規化として定義する。
• 平均表現を引くことで中心化し、TPSD を一定に保つようにスケールする（ハイパーパラメータ s で制御）。
• ノードごとの L2 ノルムを固定するオプショナルな PairNorm-si 変種を提供する。
• 各グラフ畳み込み層の後（最後の層を除く）に PairNorm を適用し、SGC・GCN・GAT を用いて評価する；残差接続と比較する。
• より深い GNN が有益になる現実世界のシナリオ（SSNC-MV）を考察し、PairNorm が利益を示す。

実験結果

リサーチクエスチョン

• RQ1 層を重ねると表現が識別不能になるほどの過平滑化はどのように発生するのか。
• RQ2 ネットワークのアーキテクチャを変更せずに、単純な層ごとの正規化でクラスター間の特徴混合を防げるのか。
• RQ3 PairNorm は SGC、GCN、GAT のより深い版が精度を維持・向上させることを可能にするのか。
• RQ4 SSNC-MV を横断して、欠損特徴を持つデータセットでの半教師付きノード分類における PairNorm の性能はどうか。
• RQ5 どの設定で PairNorm を用いた深い GNN の恩恵が最も大きいか（例：欠損機能シナリオ）？

主な発見

• PairNorm は深い GCN、GAT、SGC モデルを過平滑化に対してより堅牢にし、層が増えても性能低下を緩和する。
• 欠損機能設定では、PairNorm はより深いモデルの性能回復を促し、素のベースラインよりも優れることが多い，特に欠損率が高い場合。
• PairNorm は高速で実装が簡単、追加のパラメータを導入せず、層間の一般的な正規化層として機能する。
• PairNorm-si は一般に GCN および GAT に安定した改善をもたらし、標準の PairNorm は SGC に対して良好に機能する。
• 一般的なベンチマークデータセットでは非常に深いネットワークは絶対的な利点が小さいが、欠損特徴を含む現実的なシナリオで PairNorm はより深いネットワークを有利にする。
• この研究では SSNC-MV も検討しており、PairNorm を用いたより深いアーキテクチャが、特徴欠如下でより浅い素のモデルを上回ることを示している。