[論文レビュー] On Graph Classification Networks, Datasets and Baselines

Enxhell Luzhnica, Ben Day+1 more|arXiv (Cornell University)|May 12, 2019

Advanced Graph Neural Networks参考文献 11被引用数 11

ひとこと要約

この論文は、グローバルプールングMLP、単層GCN、ジャンピング・ノリッジ（JK）接続付き固定重みGCNといった単純なモデルが、グラフ分類ベンチマークで最先端の性能を達成することを示している。多くの場合、より深く複雑なアーキテクチャを上回っている。著者らは、標準初期化下での消失勾配により、深層モデルの訓練ダイナミクスが劣化することを原因として挙げ、今後の評価のための基本的で重要なベースラインとしてこれらの危単なモデルの導入を提唱している。

ABSTRACT

Graph classification receives a great deal of attention from the non-Euclidean machine learning community. Recent advances in graph coarsening have enabled the training of deeper networks and produced new state-of-the-art results in many benchmark tasks. We examine how these architectures train and find that performance is highly-sensitive to initialisation and depends strongly on jumping-knowledge structures. We then show that, despite the great complexity of these models, competitive performance is achieved by the simplest of models -- structure-blind MLP, single-layer GCN and fixed-weight GCN -- and propose these be included as baselines in future.

研究の動機と目的

• トップ-kプーリングとジャンピング・ノリッジ（JK）構造を備えた深層グラフニューラルネットワーク（GNN）が、理論的利点があるにもかかわらず一般化に失敗する理由を調査すること。
• トップ-kプーリングを備えた深層GNNにおける初期化の勾配フローと訓練安定性への影響を評価すること。
• 特に構造に依存しないMLPや単層GCNといった単純なモデルが、標準的なグラフ分類ベンチマークで競争力あるか、あるいは優れた性能を示すことを実証すること。
• 今後のGNN研究において、これらの単純なモデルを強力で最小限のベースラインとして組み込むよう提言し、公平な評価と意味のあるアブレーションスタディを確保すること。

提案手法

• 自己ループを重み2で調整した改善された正規化を施した標準的なGCNとReLU活性化関数を採用する。
• 学習可能なプロジェクションベクトルを用いてトップ-kプーリングを適用し、スコアの高いノードを保持することでグラフを粗くする。
• 層間の表現を連結、合計、またはマックスプールングによって集約するジャンピング・ノリッジ（JK）接続を用いる。
• 活性化の分散を層間に維持するためのReInit初期化スキームを提案し、消失勾配問題を緩和する。
• 重み減衰を有無にかかわらず訓練することで、不良初期化からの回復ダイナミクスを評価する。
• 10-foldクロスバリデーション分割を用いて、Reddit、DD、Collab、Proteinsの複数のデータセットで性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 トップ-kプーリングとJK接続を備えた深層GNNは、アーキテクチャの複雑さにもかかわらず、なぜ効果的に訓練されないのか？
• RQ2 標準初期化は、深層GNNにおける勾配フローと活性化伝搬にどのように影響するのか？
• RQ3 MLP や単層GCNといった単純なモデルが、標準的なグラフ分類ベンチマークで複雑なアーキテクチャをどれほど上回るのか？
• RQ4 ReInit戦略は、深層GNNにおける訓練ダイナミクスを効果的に回復させることができるのか？ また、一般化性能を向上させるのか？
• RQ5 複雑なGNNコンponentsは必要なのか、それとも単純なサブネットワーク（GCN や MLP）の性能向上を拡大するだけなのか？

主な発見

• 標準的なGlorot/He初期化では、トップ-kプーリングを備えた深層GNNが、特に後段の層で活性化と勾配が消失する。
• グローバルプールングMLPはDDで80.22%の正確度を達成し、GraphSAGE や Set2Set よりも優れた性能を示しており、強力なベースライン性能を示している。
• JK接続付きの単層GCN（JK-Sum）はRedditで47.16%の正確度を達成し、DiffPool や Graph U-Net よりも同程度または上回る結果を示している。
• 固定重みGCN（GCN-R-MLP）ですらDDで78.61%の正確度を達成しており、トレーニングなしでGCNの構造的情報を活用するだけで十分であることが示されている。
• ReInit初期化では、すべての層を初期段階から訓練可能になるが、適切な訓練を伴う標準初期化に比べて一貫した性能向上は見られない。
• 重み減衰ありでは、深層ネットワークは不良初期化からの回復に失敗する。重み減衰なしでは、安定化するまでに800エポック以上を要するため、深層モデルに不適切なインダクティブバイアスがあると示唆される。