[論文レビュー] Simplifying Architecture Search for Graph Neural Network

Huan Zhao, Lanning Wei+1 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Graph Neural Networks参考文献 33被引用数 7

ひとこと要約

本稿では、ノードとレイヤーのアグレゲーターを統合したより表現力がありコン act な探索空間を組み合わせることで、効率的な強化学習ベースのアーキテクチャ探索を可能にする、グラフニューラルネットワーク（GNN）向けの簡素化されたニューラルアーキテクチャサーチフレームワークSNAGを提案する。SNAGは、ノード分類タスクにおいて、人間が設計したGNNや、GraphNASやAuto-GNNといった先行NAS手法を上回る最先端の性能を達成するとともに、そのスムーズな探索空間設計のおかげで、顕著に短い探索時間を実現した。

ABSTRACT

Recent years have witnessed the popularity of Graph Neural Networks (GNN) in various scenarios. To obtain optimal data-specific GNN architectures, researchers turn to neural architecture search (NAS) methods, which have made impressive progress in discovering effective architectures in convolutional neural networks. Two preliminary works, GraphNAS and Auto-GNN, have made first attempt to apply NAS methods to GNN. Despite the promising results, there are several drawbacks in expressive capability and search efficiency of GraphNAS and Auto-GNN due to the designed search space. To overcome these drawbacks, we propose the SNAG framework (Simplified Neural Architecture search for Graph neural networks), consisting of a novel search space and a reinforcement learning based search algorithm. Extensive experiments on real-world datasets demonstrate the effectiveness of the SNAG framework compared to human-designed GNNs and NAS methods, including GraphNAS and Auto-GNN.

研究の動機と目的

• 既存のGNN向けNAS手法（例：GraphNAS や Auto-GNN）における表現力の限界と探索効率の問題を解決すること。
• 先行研究よりも単純かつ表現力に優れた探索空間を設計し、より幅広い最先端GNNモデルを模倣可能にすること。
• 効果的な強化学習ベースの探索アルゴリズムを開発し、データ固有の高パフォーマンスGNNアーキテクチャを効率的に発見すること。
• レイヤーのアグレゲーターと重み共有が、GNNアーキテクチャサーチにおける探索効率とパフォーマンスに与える影響を調査すること。
• 実世界のグラフデータセットを用いた広範な実験を通じて、提案フレームワークの優位性を実証すること。

提案手法

• 統一されたメッセージパッシングフレームワークに基づく新しい探索空間を提案し、ノードアグレゲーター（例：GCN, GAT, SAGE-LSTM, GeniePath）とレイヤー アグレゲーター（例：CONCAT, MAX, LSTM, IDENTITY, ZERO）を統合する。
• 検証データ上のアーキテクチャパフォーマンスを最適化するため、探索空間を探索する強化学習ベースの探索アルゴリズムを設計する。
• 重み共有を組み込んだ変種、SNAG-WSを導入し、探索プロセスの高速化を図るが、実験結果では恩恵が限定的であることが判明した。
• 2段階のトレーニングパイプラインを採用：最初にRLによるアーキテクチャ探索を行い、次に最良のアーキテクチャを再びから全訓練する。
• すべての実験でパフォーマンスと効率のバランスを取るために、固定された3層のGNNレイヤーを採用する。
• RLループ内では、検証精度を報酬信号として用い、探索効率を向上させるために早期停止を実装する。

実験結果

リサーチクエスチョン

• RQ1 GraphNAS や Auto-GNN といった既存手法と比較して、より単純かつ表現力に優れた探索空間は、GNNアーキテクチャサーチにおけるパフォーマンスと効率を向上させ得るか？
• RQ2 レイヤー アグレゲーターはGNNアーキテクチャの最終的パフォーマンスにどのように影響を及ぼし、最先端の結果を達成するために不可欠であるか？
• RQ3 重み共有機構はGNN NASにおける探索プロセスを顕著に高速化するか？実用的に有益であるか？
• RQ4 提案されたSNAGフレームワークは、多様な実世界のグラフデータセットにおいて、人間が設計したGNNを上回るアーキテクチャをどの程度効果的に発見できるか？
• RQ5 収束速度と時間経過に伴う精度向上の観点から、SNAGの探索効率はGraphNASと比べてどの程度優れているか？

主な発見

• SNAGはCora、PubMed、PPIで最先端のパフォーマンスを達成し、テスト精度はそれぞれ88.26%（Cora）、88.77%（PubMed）、98.87%（PPI）を記録し、人間が設計したGNNや先行NAS手法を上回った。
• CiteSeerでは77.07%の精度を達成し、GraphNASを上回り、最良のベースラインと同等の水準に留まり、全データセットにわたり一貫した有効性を示した。
• SNAGは探索効率においてGraphNASを顕著に上回り、図2に示すように、より短い時間でより高い検証精度に到達した。これは、その簡素化された探索空間によるものである。
• 探索空間からレイヤー アグレゲーターを削除すると、全データセットで一貫したパフォーマンス低下が観察され、そのアーキテクチャ表現力における重要性が裏付けられた。
• 重み共有を導入したSNAG-WSはSNAGと比較して僅かな改善しか示さず、探索の高速化に顕著な恩恵をもたらさなかった。これは、NAS文献における一般的な仮定とは対照的であった。
• 提案された探索空間は、GraphNAS や Auto-GNN で除外されていたGeniePath やSAGE-LSTMを含む、より広範なGNNアーキテクチャを包括的にカバーできることを確認した。