[論文レビュー] Lipschitz Normalization for Self-Attention Layers with Application to Graph Neural Networks

George Dasoulas, Kevin Scaman+1 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Graph Neural Networks参考文献 35被引用数 5

ひとこと要約

この論文は、勾配爆発を防ぐために自己注意層におけるリプシッツ連続性を強制するパラメータフリーな正規化手法である LipschitzNorm を導入する。グラフニューラルネットワーク（GNN）に適用することで、深層 GAT およびグラフトランスフォーマーの安定した学習が可能となり、長距離依存性を持つノード分類タスクで最先端の性能を達成する。特に 30 層のモデルでは、残差接続を用いた手法よりも最大 6% の精度向上を達成する。

ABSTRACT

Attention based neural networks are state of the art in a large range of applications. However, their performance tends to degrade when the number of layers increases. In this work, we show that enforcing Lipschitz continuity by normalizing the attention scores can significantly improve the performance of deep attention models. First, we show that, for deep graph attention networks (GAT), gradient explosion appears during training, leading to poor performance of gradient-based training algorithms. To address this issue, we derive a theoretical analysis of the Lipschitz continuity of attention modules and introduce LipschitzNorm, a simple and parameter-free normalization for self-attention mechanisms that enforces the model to be Lipschitz continuous. We then apply LipschitzNorm to GAT and Graph Transformers and show that their performance is substantially improved in the deep setting (10 to 30 layers). More specifically, we show that a deep GAT model with LipschitzNorm achieves state of the art results for node label prediction tasks that exhibit long-range dependencies, while showing consistent improvements over their unnormalized counterparts in benchmark node classification tasks.

研究の動機と目的

• 深層注意モデル、特にグラフニューラルネットワーク（GNN）における学習中の勾配爆発により生じる性能低下を解消すること。
• 標準的な自己注意メカニズムのリプシッツ連続性を理論的に分析し、深層アーキテクチャにおけるその不安定性を同定すること。
• 自己注意層にリプシッツ連続性を強制するシンプルでパラメータフリーの正規化手法である LipschitzNorm を提案すること。
• 実験的に、LipschitzNorm が深層 GNN の学習を安定化させ、特に長距離依存性を持つタスクで性能向上をもたらすことを検証すること。
• LipschitzNorm が PairNorm や LayerNorm といった既存の正規化手法を上回ることを示すこと、特に深層 GNN の文脈において。

提案手法

• LipschitzNorm は、注意スコアをスケーリングすることで、注意メカニズムがリプシッツ連続性を満たし、バウンドが 1 になるようにクエリおよびキーのベクトルを正規化する。
• この手法は、注意重み行列のスペクトルノルムから導かれる正規化係数を適用し、出力の変化が入力の変化に対して有界であることを保証する。
• ドット積注意計算に直接適用され、注意スコアは次のように変更される：\text{attn} = \frac{\text{softmax}(\text{QK}^T / \sqrt{d})}{\|\text{QK}^T / \sqrt{d}\|_2} \cdot \text{value}。
• 正規化はパラメータフリーであり、追加の可学習パラメータを必要としないため、軽量で既存の GNN アーキテクチャと互換性がある。
• 理論的分析により、LipschitzNorm が注意層が 1-リプシッツ連続性を満たすことを証明し、バックプロパゲーション中の勾配フローの安定化を実現する。
• この手法は GAT およびグラフトランスフォーマーの両方へ適用され、深さが増すに従って複数のベンチマークデータセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 自己注意層にリプシッツ連続性を強制することで、深層注意モデルにおける勾配爆発が防げるか？
• RQ2 LipschitzNorm は、特に長距離依存性を持つ深層グラフニューラルネットワークの学習を安定化させ、性能を向上させることができるか？
• RQ3 LipschitzNorm は、深層 GNN の文脈において、PairNorm や LayerNorm といった既存の正規化手法と比較して優れているか？
• RQ4 LipschitzNorm は残差接続と組み合わせることで、深層 GNN の性能をさらに向上させることができるか？
• RQ5 LipschitzNorm は、30 層といったより深い GNN（例：30 層）がノード分類タスクで最先端の性能を達成できるように可能にするか？

主な発見

• LipschitzNorm により、30 層にまで及ぶ深層 GAT およびグラフトランスフォーマーのモデルが安定して学習可能となり、正規化されていないモデルでは収束しない。
• Cora データセットでは、30 層の GAT-Lip モデルがテスト精度 69.4% を達成し、GAT-res（63.5%）を 5.9 パcentポイント上回る。
• PubMed データセットでは、30 層の GAT-Lip モデルが 67.2% の精度を達成し、正規化されていない GAT（28.2%）と比較して 15.8% の向上を示す。
• Ogbn-proteins データセットでは、LipschitzNorm が 30 層にわたり高い ROC-AUC を維持するが、正規化されていないモデルは崩壊する。
• LipschitzNorm は、Cora、PubMed、Ogbn-arxiv、Ogbn-proteins のすべてのベンチマークデータセットで、PairNorm や LayerNorm を上回る一貫した性能向上を示す。
• LipschitzNorm を残差接続と組み合わせることで、わずかなさらなる向上が得られるため、深層アーキテクチャにおける互換性と頑健性が示された。