[論文レビュー] Towards Deeper Graph Neural Networks with Differentiable Group Normalization

Kaixiong Zhou, Xiao Huang+4 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Graph Neural Networks参考文献 25被引用数 81

ひとこと要約

この論文は、グラフニューラルネットワークの過平滑化を緩和する微分可能なグループ正規化（DGN）を導入し、ノードをグループにクラスタリングしてそれぞれ独立に正規化することで深いアーキテクチャとノード分類の改善を実現します。さらに、グループ距離比率とインスタンス情報利得という2つの過平滑化指標を提案します。

ABSTRACT

Graph neural networks (GNNs), which learn the representation of a node by aggregating its neighbors, have become an effective computational tool in downstream applications. Over-smoothing is one of the key issues which limit the performance of GNNs as the number of layers increases. It is because the stacked aggregators would make node representations converge to indistinguishable vectors. Several attempts have been made to tackle the issue by bringing linked node pairs close and unlinked pairs distinct. However, they often ignore the intrinsic community structures and would result in sub-optimal performance. The representations of nodes within the same community/class need be similar to facilitate the classification, while different classes are expected to be separated in embedding space. To bridge the gap, we introduce two over-smoothing metrics and a novel technique, i.e., differentiable group normalization (DGN). It normalizes nodes within the same group independently to increase their smoothness, and separates node distributions among different groups to significantly alleviate the over-smoothing issue. Experiments on real-world datasets demonstrate that DGN makes GNN models more robust to over-smoothing and achieves better performance with deeper GNNs.

研究の動機と目的

• GNN における過平滑化をグループとインスタンスの観点から新しい指標で定量化する。
• 過平滑化を低減する微分可能なグループ正規化技術を提案する。
• DGN がベンチマークデータセットでより深い GNN を実現し性能を向上させることを示す。
• 特徴欠損があるシナリオにおける DGN の頑健性を示す。

提案手法

• 過平滑化を測定する2つの指標を定義する：Group Distance Ratio と Instance Information Gain。
• グループごとにソフトにクラスタリングし各グループを独立に正規化する微分可能なグループ正規化（DGN）を導入する。
• グループ割り当てを微分可能なソフトマックスベースのクラスタリングで計算する：S^(k) = softmax(H^(k) U^(k))。
• 各グループを独自のランニング平均/分散とアフィンパラメータで正規化し、その後元の埋め込みと組み合わせて H^(k) + λ sum_i tilde{H}^(k)_i を得る。
• supervise 失と正規化の効果をエンドツーエンドで最適化する。
• DGN は入力特徴を保持しつつグループ分布を分離して過平滑化を緩和することを示す。

実験結果

リサーチクエスチョン

• RQ1 GNN における過平滑化は、対数距離やペアワイズノード距離を超えて正確に測定できるのか。
• RQ2 グループ単位の正規化戦略は有用な自己特徴を犠牲にせず過平滑化を緩和できるのか。
• RQ3 DGN によってより深い GNN を実現すると、標準ベンチマークや特徴欠損状況で性能は向上するのか。

主な発見

• DGN は過平滑化を大幅に緩和し、複数のデータセットと深さでNone、Batch、Pair 正規化を上回る。
• DGN を用いると、より深い GNN は浅いものより高い精度を達成し、例として Cora の SGC で K = 20 のとき最高精度 79.7% を達成。
• 欠損特徴の状況では、DGN はベースラインより顕著な利得をもたらす：平均改善は NN に対して 37.8%、BN に対して 7.1%、PN に対して 12.8%。
• DGN はより深いアーキテクチャを有効に活用してマルチホップ近傍情報を活用できるようにし、最適な層数が大きくなることがある（例: 一部の設定で最大 30 層）。
• 本手法は自己保持成分 H^(k) を維持して過正規化を避けつつ、グループごとに分布を分離する。