[論文レビュー] ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization

Langzhang Liang, Zenglin Xu+4 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

ResNormは、ノードごとの標準偏差（NStd）分布をスケール演算子とカスタムノードワイズシフト演算子を用いて再形状することで、長尾型ノード次数分布に対処するGNNのための新規正規化手法である。性能差を低減し、過剰平滑化を緩和することで、複数のGNNバックボーンとベンチマークで顕著な精度向上を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have attracted much attention due to their ability in learning representations from graph-structured data. Despite the successful applications of GNNs in many domains, the optimization of GNNs is less well studied, and the performance on node classification heavily suffers from the long-tailed node degree distribution. This paper focuses on improving the performance of GNNs via normalization. In detail, by studying the long-tailed distribution of node degrees in the graph, we propose a novel normalization method for GNNs, which is termed ResNorm ( extbf{Res}haping the long-tailed distribution into a normal-like distribution via extbf{norm}alization). The $scale$ operation of ResNorm reshapes the node-wise standard deviation (NStd) distribution so as to improve the accuracy of tail nodes ( extit{i}. extit{e}., low-degree nodes). We provide a theoretical interpretation and empirical evidence for understanding the mechanism of the above $scale$. In addition to the long-tailed distribution issue, over-smoothing is also a fundamental issue plaguing the community. To this end, we analyze the behavior of the standard shift and prove that the standard shift serves as a preconditioner on the weight matrix, increasing the risk of over-smoothing. With the over-smoothing issue in mind, we design a $shift$ operation for ResNorm that simulates the degree-specific parameter strategy in a low-cost manner. Extensive experiments have validated the effectiveness of ResNorm on several node classification benchmark datasets.

研究の動機と目的

• 長尾型ノード次数分布に起因するGNNの性能差を是正すること、特に低次数（尾部）ノードが一貫して性能を発揮できない問題に対処すること。
• グラフ構造の変更や複雑なアーキテクチャ変更に依存せずに、尾部ノードの分類精度を向上させること。
• 既存のGNNアーキテクチャに簡単に統合可能な軽量で汎用的な正規化モジュールを設計すること。
• 深層GNNにおける標準シフト演算子が悪化させる過剰平滑化問題を、次数に依存するシフト機構によって緩和すること。
• 提案手法の有効性を、多様なGNNモデルおよびノード分類ベンチマークにおいて検証すること。

提案手法

• ResNormは、ノードごとの標準偏差（NStd）分布を再形状することで、ヘッドノードとテイルノードの差を縮小するスケール演算子を導入し、ノード次数分布を間接的に正規化する。
• スケール演算子は、影響分布解析に基づいており、これにより低次数ノードの表現多様性が向上し、一般化性能が向上することが説明される。
• 標準シフトを置き換えるために、新規のノードワイズシフト演算子が設計され、特徴値の縮小を引き起こす前処理効果を回避する。
• ノードワイズシフトは低コストで次数に特化したパラメータ戦略を模倣し、モデル表現力は維持しながら学習を安定化させる。
• ResNormは、各GNN層の後にプラグアンドプレイモジュールとして適用可能であり、GCN、APPNP、DeepGCN、GCNIIなど多様なGNNバックボーンと互換性を持つ。
• 本手法は、Cora、Citeseer、PubMed、Coauthor-CS、Amazon-Photoといった標準的なノード分類ベンチマークを用い、複数のモデル深さと構成で評価されている。

実験結果

リサーチクエスチョン

• RQ1 長尾型ノード次数分布は、GNNの性能、特に尾部ノードにどのように影響を与えるか？
• RQ2 NStd分布を再形状する正規化手法が、アーキテクチャ変更なしに低次数ノードの分類精度を向上させられるか？
• RQ3 正規化における標準シフト演算子が、深層GNNで過剰平滑化を悪化させる理由は何か？ そして、その問題はどのように緩和できるか？
• RQ4 ResNormは、多様なGNNアーキテクチャとデータセットにおいて、どの程度性能を向上させられるか？
• RQ5 Cora、Citeseer、PubMed、Coauthor-CS、Amazon-Photo、GCN、APPNP、DeepGCN、GCNII といった多様なモデルとデータセットにおいて、軽量で汎用的な正規化モジュールとしてのResNormの有効性はどの程度か？

主な発見

• GCN+PairNormにResNormを適用した場合、Coraではテスト精度が32.5%向上し、ベースラインを顕著に上回る。
• Citeseerでは、ResNorm+GCN+PairNormがベースライン比で90.0%の向上を達成し、挑戦的な長尾型データセットでも顕著な改善を示している。
• ResNorm+APPNPは、APPNP単体と比較して3.1%の精度向上を達成し、元来正規化を想定していないモデルに対しても有効性を示している。
• アブレーションスタディにより、標準シフトは過剰平滑化リスクを増加させる一方、ResNormのノードワイズシフトは深層アーキテクチャでも性能を維持していることが確認された。
• DeepGCN や GCNII といった深層GNNでは、ResNormが尾部ノードおよび全体の精度を一貫して向上させ、モデルファミリー全体にわたる一般化性が裏付けられた。
• スケール演算子はNStd分布を効果的に再形状し、低分散（尾部）ノードの分類精度向上と相関していることが示された。