[論文レビュー] Auto-GNN: Neural Architecture Search of Graph Neural Networks

Kaixiong Zhou, Qingquan Song+2 more|arXiv (Cornell University)|Sep 7, 2019

Advanced Graph Neural Networks参考文献 44被引用数 64

ひとこと要約

この論文は、グラフニューラルネットワーク用に特化した強化学習駆動の NAS フレームワーク AGNN を導入し、ノード分類のための高性能 GNN アーキテクチャを効率的に発見するための保守的探索と制約付きパラメータ共有を提案します。

ABSTRACT

Graph neural networks (GNN) has been successfully applied to operate on the graph-structured data. Given a specific scenario, rich human expertise and tremendous laborious trials are usually required to identify a suitable GNN architecture. It is because the performance of a GNN architecture is significantly affected by the choice of graph convolution components, such as aggregate function and hidden dimension. Neural architecture search (NAS) has shown its potential in discovering effective deep architectures for learning tasks in image and language modeling. However, existing NAS algorithms cannot be directly applied to the GNN search problem. First, the search space of GNN is different from the ones in existing NAS work. Second, the representation learning capacity of GNN architecture changes obviously with slight architecture modifications. It affects the search efficiency of traditional search methods. Third, widely used techniques in NAS such as parameter sharing might become unstable in GNN. To bridge the gap, we propose the automated graph neural networks (AGNN) framework, which aims to find an optimal GNN architecture within a predefined search space. A reinforcement learning based controller is designed to greedily validate architectures via small steps. AGNN has a novel parameter sharing strategy that enables homogeneous architectures to share parameters, based on a carefully-designed homogeneity definition. Experiments on real-world benchmark datasets demonstrate that the GNN architecture identified by AGNN achieves the best performance, comparing with existing handcrafted models and tradistional search methods.

研究の動機と目的

• メッセージパッシング畳み込みに基づくグラフニューラルネットワークのアーキテクチャの探索空間を定義する。
• 因果関係を考慮してアーキテクチャ変更を学習する強化学習コントローラを開発する。
• 異種のGNN間での学習を安定させる制約付きパラメータ共有戦略を導入する。
• ノード分類タスクで、AGNN が発見したアーキテクチャが手作りモデルや他の NAS 手法を上回ることを実証的に検証する。

提案手法

• GNNレイヤごとに6クラスのアクション空間を定義する：隠れ層次元、アテンション関数、アテンションヘッド、集約関数、結合関数、活性化関数。
• 各アクションクラスごとに独立したRNNエンコーダを備えた強化学習ベースのコントローラを用いて、アーキテクチャを貪欲に変更する。
• 保守的探索者、誘導的アーキテクチャ変更子、ポリシー勾配トレーナーを備えた強化された保守的ニューラルアーキテクチャ探索（RCNAS）を実装する。
• 入力/出力形状が一致し、同一のアテンション/活性化関数を持ち、BN/スキップ接続の部品を共有しないアーキテクチャ間でのみ重み転送を許可する制約付きパラメータ共有を提案する。
• 探索と安定性のバランスを取るために、共有重みで数エポック子アーキテクチャを訓練する。

実験結果

リサーチクエスチョン

• RQ1 GNNアーキテクチャの効率的な探索空間を定義し、効果的に探索するには？
• RQ2 異種のGNNアーキテクチャ間で学習を安定させるためにパラメータ共有をどのように制約すべきか？
• RQ3 AGNN はノード分類の手作りモデルや他の NAS 手法を上回るアーキテクチャを見つけるか？
• RQ4 限られた変更と完全なアーキテクチャ変更の探索効率への影響は何か？

主な発見

ベースライン分類	モデル	#レイヤ	パラメータ	Cora	Citeseer	Pubmed
Chebyshev	2-layer	2	0.09 M	81.2%	69.8%	74.4%
GCN	2-layer	2	0.02 M	81.5%	70.3%	79.0%
GAT	2-layer	2	0.09 M	83.0±0.7%	72.5±0.7%	79.0±0.3%
LGCN	3–4-layer	3–4	0.06 M	83.3±0.5%	73.0±0.6%	79.5±0.2%
GraphNAS-w/o share	2-layer	2	0.09 M	82.7±0.4%	73.5±1.0%	78.8±0.5%
GraphNAS-with share	2-layer	2	1.91 M	72.4±1.3%	-	-
Random-w/o share	2-layer	2	0.95 M	72.9±0.2%	-	-
Random-with share	2-layer	2	0.95 M	69.9±1.7%	-	-
AGNN-w/o share	2-layer	2	0.71 M	83.8%	73.8%	79.7%
AGNN-with share	2-layer	2	0.03 M	82.7%	72.7%	79.0%

• AGNN により発見されたアーキテクチャは、伝導ノード分類ベンチマークで手作りモデルおよび NAS ベースラインを上回る。例えば、AGNN-w/o share は Cora 83.6%、Citeseer 73.8%、Pubmed 79.7% を達成し、いくつかのベースラインを上回る。
• 伝導タスクでは、AGNN-with share も競争力のある結果を示す（例：Cora 82.7%、Citeseer 72.7%、Pubmed 79.0%）、一部の NAS ベースラインよりもパラメータ数が少ない。
• PPI の誘導学習では、AGNN-w/o share が 0.992±0.001 F1 スコアを達成し、AGNN-with share が 0.991±0.001 を達成、ランダムおよびいくつかの手作りベースラインを上回る。
• 探索過程は、AGNN が GraphNAS およびランダム探索よりも高速にトップアーキテクチャへ収束することを示し、パラメータ共有が実際の計算時間を削減する。
• 制約付きパラメータ共有は、層形状が一致し、同一のアテンション/活性化構成を持つアーキテクチャ間のみに重みを共有させることを課すことで、異種の GNN アーキテクチャ間の学習を安定化する。