[論文レビュー] GraphNAS: Graph Neural Architecture Search with Reinforcement Learning

Yang Gao, Hong Yang+3 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Graph Neural Networks参考文献 20被引用数 70

ひとこと要約

GraphNASは再帰コントローラと強化学習を用いてグラフニューラルネットワークのアーキテクチャを自動的に探索し、手設計モデルと比較してノード分類タスクで競争力のあるまたは優れた性能を達成します。伝達設定にも誘導設定にも対応し、探索効率を改善するためのパラメータ共有を導入します。

ABSTRACT

Graph Neural Networks (GNNs) have been popularly used for analyzing non-Euclidean data such as social network data and biological data. Despite their success, the design of graph neural networks requires a lot of manual work and domain knowledge. In this paper, we propose a Graph Neural Architecture Search method (GraphNAS for short) that enables automatic search of the best graph neural architecture based on reinforcement learning. Specifically, GraphNAS first uses a recurrent network to generate variable-length strings that describe the architectures of graph neural networks, and then trains the recurrent network with reinforcement learning to maximize the expected accuracy of the generated architectures on a validation data set. Extensive experimental results on node classification tasks in both transductive and inductive learning settings demonstrate that GraphNAS can achieve consistently better performance on the Cora, Citeseer, Pubmed citation network, and protein-protein interaction network. On node classification tasks, GraphNAS can design a novel network architecture that rivals the best human-invented architecture in terms of test set accuracy.

研究の動機と目的

• GNN設計の manual effort を自動化して削減する。
• 生成された GNN の検証精度を最大化するために強化学習を活用する。
• パラメータ共有で大規模な GNN 空間の探索を効率化する。
• 転置推論と誘導推論の両方のノード分類タスクで GraphNAS を評価する。
• GraphNAS の設計が人が作ったアーキテクチャに匹敵または上回ることを示す。

提案手法

• コントローラとして再帰ニューラルネットワークを用いて、アーキテクチャの記述をトークン列として生成する。
• 層ごとにサンプリング、相関、集約、残差、ゲーティング機能を含む柔軟な探索空間を定義する。
• 生成された GNN の検証精度を最大化するように policy gradient でコントローラを訓練する。
• 共有戦略を慎重に設計してアーキテクチャ互換性を尊重しつつ、生成された子 GNN のパラメータを共有して訓練を加速する。
• 各サンプリング済み GNN を検証セットで訓練し、コントローラの更新の報酬信号を得る。
• 訓練済みコントローラから複数のモデルをサンプリングし、最良候補をゼロから再訓練してアーキテクチャを導出する。

実験結果

リサーチクエスチョン

• RQ1 大規模で異質な探索空間に対して、強化学習はグラフニューラルアーキテクチャの探索を効果的に自動化できるか？
• RQ2 GraphNAS は転置推論と誘導推論の標準データセットで、手設計のベースラインより優れているか、または対抗できる GNN を生み出すか？
• RQ3 パラメータ共有は最終的なモデル品質を損なうことなく探索効率を改善するか？
• RQ4 サンプリング、アテンション、集約、残差接続などの異なるアーキテクチャ選択が GNN の性能に与える影響は何か？

主な発見

• GraphNAS は Cora、Citeseer、PubMed の精度でいくつかのベースラインを一貫して上回る。
• Cora では、GraphNAS は 2 層アーキテクチャで 84.2% ±1.0% の精度を達成。
• Citeseer と PubMed では、それぞれ 73.1% ±0.9% および 79.6% ±0.4% の精度を達成。
• PPI の誘導タスクでは、グリップ接続なしの GraphNAS が 98.6% ±0.1% の micro-F1 を達成し、いくつかの強力なベースラインを上回る。
• パラメータ共有は探索効率を改善し、多くの場合、最終的なアーキテクチャの性能にも寄与する。
• GraphNAS が得たアーキテクチャは、ベンチマークデータセット上で人間が発案したモデル（例：GeniePath、GAT）に対して競争力があるか、または上回る性能を示す。