[論文レビュー] A Variational-Sequential Graph Autoencoder for Neural Architecture Performance Prediction

David Friede, Jovita Lukasik+2 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Graph Neural Networks参考文献 36被引用数 11

ひとこと要約

本論文では、NAS-Bench-101 に含まれるニューラルアーキテクチャグラフを、連続的な潜在空間に埋め込むためにグラフニューラルネットワーク（GNN）を用いる変分逐次グラフオートエンコーダ（VS-GAE）を提案する。このモデルは、正確な性能予測と安定したゼロショット一般化を可能にする。特に、学習済み潜在空間からのサンプリングにおいて、離散的空間からのサンプリング手法を上回る、最先端の安定性を達成している。

ABSTRACT

In computer vision research, the process of automating architecture engineering, Neural Architecture Search (NAS), has gained substantial interest. In the past, NAS was hardly accessible to researchers without access to large-scale compute systems, due to very long compute times for the recurrent search and evaluation of new candidate architectures. The NAS-Bench-101 dataset facilitates a paradigm change towards classical methods such as supervised learning to evaluate neural architectures. In this paper, we propose a graph encoder built upon Graph Neural Networks (GNN). We demonstrate the effectiveness of the proposed encoder on NAS performance prediction for seen architecture types as well an unseen ones (i.e., zero shot prediction). We also provide a new variational-sequential graph autoencoder (VS-GAE) based on the proposed graph encoder. The VS-GAE is specialized on encoding and decoding graphs of varying length utilizing GNNs. Experiments on different sampling methods show that the embedding space learned by our VS-GAE increases the stability on the accuracy prediction task.

研究の動機と目的

• ニューラルアーキテクチャ探索（NAS）の高い計算コストを軽減するため、事前に訓練されたアーキテクチャを用いた教師あり性能予測を可能にする。
• 長さが異なるニューラルアーキテクチャグラフを符号化・復元できるグラフオートエンコーダの開発。
• 未知のアーキテクチャタイプに対して意味的で安定した潜在空間を学習することで、ゼロショット性能予測の向上。
• 学習済み潜在空間を用いた安定的で意味のある新しいニューラルアーキテクチャの生成を可能にし、従来の離散的空間からのサンプリングを凌駆する。

提案手法

• モデルは、DAGとして表現されるニューラルアーキテクチャグラフを連続的な潜在空間に埋め込むために、GNNベースのエンコーダを採用する。
• 変分オートエンコーダフレームワークを用い、潜在コード上の事後分布をGNNエンコーダによって近似する。
• GNNに基づく逐次デコーダが潜在コードからグラフを再構築し、エンドツーエンドの学習を可能にする。
• モデルは、423,000個の完全に訓練済みの畳み込みアーキテクチャを含むNAS-Bench-101データセットで学習される。
• 学習済み事前分布を用いて潜在空間でサンプリングを行い、新しい有効なアーキテクチャの生成を可能にする。
• 潜在空間でのサンプリングと、編集距離や一様ランダムサンプリングに基づく離散的空間でのサンプリングを比較する。

実験結果

リサーチクエスチョン

• RQ1 GNNベースのグラフオートエンコーダは、サイズが異なるニューラルアーキテクチャグラフを効果的に符号化・再構築できるか？
• RQ2 VS-GAEが学習した潜在空間は、特にゼロショット設定において、安定的かつ正確な性能予測を可能にするか？
• RQ3 潜在空間でのサンプリングは、編集距離に基づく離散的空間でのサンプリング（例：編集距離）と比較して、予測の安定性に優れているか？
• RQ4 モデルは、潜在空間の事前分布から有効で多様なニューラルアーキテクチャを生成できるか？

主な発見

• VS-GAEエンコーダは、長さ6のアーキテクチャに対してゼロショット予測でテストRMSE 0.0487（±0.3％）を達成し、長さ7では0.0526（±4％）を記録し、優れた一般化性能を示している。
• 再構築精度が99.99％、事前有効性が95.09％を達成しており、再構築と生成の両面で高い忠実度を示している。
• 潜在空間でのサンプリングは、すべてのサンプルサイズにおいて、離散的空間でのサンプリングと比較して著しく安定した精度予測を実現している。一方、離散的空間でのサンプリングは高い変動を示している。
• 編集距離に基づくサンプリングは、一様ランダムサンプリングと比べて安定性に優位性を示さないため、離散的空間でのサンプリングの限界を示唆している。
• VS-GAEが学習した潜在空間は、アーキテクチャ生成および性能予測の両面で効果的で安定したサンプリングを可能にしている。