[論文レビュー] Understanding and Resolving Performance Degradation in Graph Convolutional Networks

Kuangqi Zhou, Yanfei Dong+5 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Graph Neural Networks参考文献 48被引用数 24

ひとこと要約

この論文は、深層グラフ畳み込みネットワーク（GCNs）における性能劣化の主な原因が、伝達操作（TRANs）による特徴の分散拡大であると特定し、単なる伝播（PROP）操作によるものではないと指摘している。本論文では、各ノードの特徴をそのノード固有の標準偏差でスケーリングする単純な正則化手法NodeNormを提案しており、分散の拡大を効果的に制御することで、深層GCNがベンチマークデータセット上で浅層GCNを上回る性能を達成できるようにしている。

ABSTRACT

A Graph Convolutional Network (GCN) stacks several layers and in each layer performs a PROPagation operation (PROP) and a TRANsformation operation (TRAN) for learning node representations over graph-structured data. Though powerful, GCNs tend to suffer performance drop when the model gets deep. Previous works focus on PROPs to study and mitigate this issue, but the role of TRANs is barely investigated. In this work, we study performance degradation of GCNs by experimentally examining how stacking only TRANs or PROPs works. We find that TRANs contribute significantly, or even more than PROPs, to declining performance, and moreover that they tend to amplify node-wise feature variance in GCNs, causing variance inflammation that we identify as a key factor for causing performance drop. Motivated by such observations, we propose a variance-controlling technique termed Node Normalization (NodeNorm), which scales each node's features using its own standard deviation. Experimental results validate the effectiveness of NodeNorm on addressing performance degradation of GCNs. Specifically, it enables deep GCNs to outperform shallow ones in cases where deep models are needed, and to achieve comparable results with shallow ones on 6 benchmark datasets. NodeNorm is a generic plug-in and can well generalize to other GNN architectures. Code is publicly available at https://github.com/miafei/NodeNorm.

研究の動機と目的

• 深層GCNの性能劣化における変換操作（TRANs）の軽視されがちな役割を調査すること。
• 過剰平滑化や勾配消失とは異なる、深層GCNにおける性能低下の根本的原因を特定すること。
• ノード表現における分散の拡大を緩和する汎用的で即座に組み込める正則化手法を開発すること。
• 深層GCN学習において、ノード単位の特徴分散の制御が、従来の正則化手法よりも効果的であることを実証すること。

提案手法

• 著者らは、GCN層におけるTRANsのみまたはPROPsのみを隔離したアブレーションスタディを設計し、それぞれの要因が性能に与える影響を個別に分析した。
• ノード固有の標準偏差で隠れ特徴をスケーリングする正則化手法であるNodeNormを導入した。その定義は $\mathrm{NodeNorm}(\mathbf{h}_i) = \frac{\mathbf{h}_i}{\sigma_i}$ であり、$\sigma_i$ はノード $i$ の特徴の標準偏差を表す。
• LayerNormやその他の変種と比較し、分散スケーリングの成分を分離することでその有効性を検証した。
• 低ラベルレートや大径値グラフを含むさまざまな条件下で、6つのベンチマークデータセットに対して広範な実験を実施した。
• LayerNormをその構成要素（平均減算、分散スケーリング、学習可能なパラメータ）に分解し、主要なメカニズムを特定した。
• モデルの深さを変えて性能を評価し、NodeNormが深層モデルが浅層モデルを上回ることを可能にした。

実験結果

リサーチクエスチョン

• RQ1 深層GCNは表現学習の能力を有しているにもかかわらず、なぜ性能劣化を起こすのか？
• RQ2 伝播操作（PROPs）と比較して、変換操作（TRANs）がGCNにおける性能劣化に果たす具体的な寄与度は何か？
• RQ3 トレーニング中にノード単位の特徴分散が拡大することは、深層GCNにおける性能低下に寄与しているか？
• RQ4 ノード固有の特徴分散を制御する単純な正則化手法が、深層GCNにおける性能劣化を効果的に是正できるか？
• RQ5 LayerNormなどの既存の正則化手法と比較して、NodeNormは分散拡大の緩和とモデルの深さに伴う性能向上の両面でどのように優れているか？

主な発見

• PROPsよりもTRANsが性能劣化により顕著に寄与しており、一般的に信じられている過剰平滑化が主因であるという仮定に疑問を呈する。
• TRANsは層をまたいでノード単位の特徴分散を拡大させ、著者らが「分散の拡大（variance inflation）」と呼ぶ現象を引き起こし、性能低下と強く相関している。
• ノード単位の特徴分散が大きいGCNは、分散が小さいGCNと比べて特に深層アーキテクチャにおいて顕著に性能が劣る。
• 各ノードの特徴をその標準偏差で正則化するNodeNormを用いることで、Cora、Citeseer、Pubmedの3つのデータセットで64層GCNが2層GCNを上回る性能を達成した。
• 6つのベンチマークデータセットにおいて、深層モデルが必須となる状況でも、NodeNormは浅層GCNと同等またはそれ以上の性能を達成した。
• アブレーションスタディの結果、平均減算や学習可能なパラメータではなく、分散スケーリングが正則化の有効性の鍵であることが確認され、分散制御が中心的なメカニズムであることが裏付けられた。