[論文レビュー] Evolutionary Architecture Search for Graph Neural Networks

Min Shi, David Wilson+5 more|arXiv (Cornell University)|Sep 21, 2020

Machine Learning and Data Classification参考文献 42被引用数 13

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）構造とハイパーパrameterを交互に進化させるプロセスを通じて、共同最適化を行う遺伝的アーキテクチャ探索フレームワーク、Genetic-GNNを提案する。誘導的および非誘導的ノード分類タスクにおいて、強化学習ベースのNAS手法と同等の性能を達成し、自動化されたGNN設計における進化的計算の有効性を示している。

ABSTRACT

Automated machine learning (AutoML) has seen a resurgence in interest with the boom of deep learning over the past decade. In particular, Neural Architecture Search (NAS) has seen significant attention throughout the AutoML research community, and has pushed forward the state-of-the-art in a number of neural models to address grid-like data such as texts and images. However, very litter work has been done about Graph Neural Networks (GNN) learning on unstructured network data. Given the huge number of choices and combinations of components such as aggregator and activation function, determining the suitable GNN structure for a specific problem normally necessitates tremendous expert knowledge and laborious trails. In addition, the slight variation of hyper parameters such as learning rate and dropout rate could dramatically hurt the learning capacity of GNN. In this paper, we propose a novel AutoML framework through the evolution of individual models in a large GNN architecture space involving both neural structures and learning parameters. Instead of optimizing only the model structures with fixed parameter settings as existing work, an alternating evolution process is performed between GNN structures and learning parameters to dynamically find the best fit of each other. To the best of our knowledge, this is the first work to introduce and evaluate evolutionary architecture search for GNN models. Experiments and validations demonstrate that evolutionary NAS is capable of matching existing state-of-the-art reinforcement learning approaches for both the semi-supervised transductive and inductive node representation learning and classification.

研究の動機と目的

• 専門知識と膨大なハイパーパrameterチューニングを要する、人的で時間がかかるGNNアーキテクチャ設計の課題に対処すること。
• グラフ構造データに対する最適な性能を達成するため、GNNアーキテクチャと学習パラメータを共同で進化させる自動化フレームワークの開発。
• 進化的計算がGNNコンポONENT（集約関数、活性化関数、ハイパーパラメータなど）の巨大な探索空間を効果的に探索でき、強化学習ベースのNAS手法を上回るか同等の性能を発揮するかを評価すること。
• GNNの文脈において、モデル構造とハイパーパラメータの間で交互に進化させるプロセスが、より強固で自動化されたGNN設計パイプラインとして実現可能で有効であることを示すこと。

提案手法

• GNNアーキテクチャコンポONENT（例：集約関数の種類、活性化関数）とハイパーパラメータ（例：学習率、ドロップアウト率）を同時に進化させる遺伝的アルゴリズムに基づくフレームワーク、Genetic-GNNを提案。
• 妥当性精度とモデルの複雑さの両方をバランスさせるフィットネス関数を採用し、トレードオフを調整するためのバランスパラメータαを導入。
• 交互進化戦略を採用：まずアーキテクチャの集団を進化させ、その後各固定アーキテクチャに対してハイパーパラメータの集団を進化させることで、相互適応を実現。
• 各個体がレイヤーの種類、活性化関数、ハイパーパラメータを含む完全なGNN設定を符号化する候補モデルの集団を維持。
• 選択、交差、変異の演算子を適用して複数世代にわたり集団を進化させ、フィットネスを向上。
• 同じアーキテクチャを持つ個体間でパラメータ共有を導入し、トレーニング中の計算コストを低減。

実験結果

リサーチクエスチョン

• RQ1 進化的アルゴリズムは、GNNアーキテクチャとハイパーパラメータの膨大な探索空間を効果的に探索し、高性能なモデルを発見できるか？
• RQ2 ハイパーパラメータを固定した状態でアーキテクチャのみを最適化するのと比較して、GNN構造とハイパーパラメータを同時に進化させることで、より高い性能が得られるか？
• RQ3 標準的なGNNベンチマークにおいて、GraphNAS や Auto-GNN といった強化学習ベースのNAS手法と比較して、提案手法Genetic-GNNの性能はいかがなっているか？
• RQ4 集団サイズや進化世代数といった主要なアルゴリズムパラメータが、最終的なモデル性能に与える影響は何か？
• RQ5 アーキテクチャとハイパーパラメータの間で交互に進化させるプロセスは、より強固で自動化されたGNN設計パイプラインを実現できるか？

主な発見

• Genetic-GNNは、強化学習ベースのNAS手法と同等の性能を達成しており、t検定においてp値が0.05であるため、統計的に有意な差がないことが示された。
• 手作業で設計されたGNNモデルと比較して、自動化されたNAS手法（Genetic-GNNを含む）は、Cora、Citeseer、PPIの3つのデータセットすべてで優れた性能を発揮した。
• フィットネス関数における最適なバランスパラメータαは、CoraとCiteseerの両方で0.6であり、精度と複雑さの間の強いトレードオフが示された。
• 集団サイズが大きくなるに従い、性能は一時的に向上するが、さらに大きなサイズでは低下する傾向にあり、これは探索空間が拡大し、収束に必要な世代数が増加するためと推定される。
• 進化世代を経るごとにモデル性能は着実に向上し、妥当性精度とテスト精度の両方が一貫して向上しているが、わずかなフラクチュエーションを伴う。
• 本フレームワークはスケーラビリティの可能性を示しており、より大きな集団サイズやより多くの進化世代を用いることで、さらなる性能向上が可能である。