[論文レビュー] Neural Architecture Optimization with Graph VAE

Jian Li, Yong Liu+2 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Neural Network Applications参考文献 24被引用数 9

ひとこと要約

本稿では、グラフ変分オートエナボーダ（GVAE）とグラフニューラルネットワーク（GNN）を用いてニューラルアーキテクチャを連続的潜在空間に埋め込む、勾配ベースのニューラルアーキテクチャ探索フレームワークNGAEを提案する。パフォーマンス予測子と複雑さ予測子をエンドツーエンドで同時に学習させることで、高い正確性と低い計算コストを両立するアーキテクチャの効率的最適化を可能にし、CIFAR-10で最小限の正確性損失と顕著な複雑さ低減を達成し、最先端の結果を得た。

ABSTRACT

Due to their high computational efficiency on a continuous space, gradient optimization methods have shown great potential in the neural architecture search (NAS) domain. The mapping of network representation from the discrete space to a latent space is the key to discovering novel architectures, however, existing gradient-based methods fail to fully characterize the networks. In this paper, we propose an efficient NAS approach to optimize network architectures in a continuous space, where the latent space is built upon variational autoencoder (VAE) and graph neural networks (GNN). The framework jointly learns four components: the encoder, the performance predictor, the complexity predictor and the decoder in an end-to-end manner. The encoder and the decoder belong to a graph VAE, mapping architectures between continuous representations and network architectures. The predictors are two regression models, fitting the performance and computational complexity, respectively. Those predictors ensure the discovered architectures characterize both excellent performance and high computational efficiency. Extensive experiments demonstrate our framework not only generates appropriate continuous representations but also discovers powerful neural architectures.

研究の動機と目的

• 既存の勾配ベースNAS手法がアーキテクチャ構造と計算複雑さの両方を適切にモデル化できないという限界を解消すること。
• GNNとGVAEを用いて滑らかで分離可能な潜在空間を学習することで、連続的空間における効率的で滑らかなアーキテクチャ最適化を可能にすること。
• パフォーマンス予測子と複雑さ予測子をエンドツーエンドで同時に最適化することで、モデルのパフォーマンスと計算効率の両面を最適化すること。
• 予測モデルをVAEフレームワークに直接統合することで、別々の学習パイプラインを避けることにより、一般化性能と探索効率を向上させること。

提案手法

• 離散的ニューラルアーキテクチャ表現を連続的潜在空間にマップするため、GNNベースのエンコーダを採用する。
• KL正則化を用いた変分オートエナボーダ（VAE）フレームワークを採用し、最適化に適した滑らかで構造的な潜在空間を保証する。
• 2つの独立した回帰モデル（予測子）をエンドツーエンドで同時に学習する：1つはモデルの正確性を予測し、もう1つはFLOPs（計算複雑さ）を予測する。
• 勾配上昇法を用いて、パフォーマンス予測子と複雑さ予測子の出力の組み合わせを最大化するように潜在表現を最適化する。
• GNNベースのデコーダを用いて、最適化された潜在ベクトルから有効なニューラルアーキテクチャを再構築する。
• バックプロパゲーションにより、エンコーダ、デコーダ、および両方の予測子を同時に学習させ、探索空間全体にわたる一貫性と一般化性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 GNNを用いたグラフVAEは、ニューラルアーキテクチャ表現のための連続的で滑らかで分離可能な潜在空間を効果的に学習できるか？
• RQ2 潜在空間におけるパフォーマンス予測子と複雑さ予測子のエンドツーエンド学習は、別々に学習する場合と比較して、より優れたアーキテクチャ探索効率と一般化性能を実現できるか？
• RQ3 計算複雑さを予測目的として組み込むことで、性能を犠牲にすることなく、実用的で効率的なアーキテクチャの発見が可能になるか？
• RQ4 潜在空間の滑らかさが、勾配ベースのニューラルアーキテクチャ探索における効果的な最適化をどのように可能にするか？
• RQ5 提案フレームワークは、従来のNAS手法を上回る、新規で高性能かつ効率的なアーキテクチャを標準ベンチマークで発見できるか？

主な発見

• 300エポックの学習後、グラフVAEの再構築精度が82.83％から99.99％に向上し、高品質な潜在空間学習が実現した。
• 正確性予測モデルは強く適合しており、テストセット評価において予測値と真値の正確性が非常に近接しており（R²が1に近い）、良好な結果を示した。
• パフォーマンス予測子のRMSEは、学習データおよびテストデータの両方で小さな値に収束し、優れた一般化性能を確認した。
• 確率的勾配上昇法を用いた推論中に予測正確性が複数ステップにわたり安定して収束し、従来手法で用いられる1ステップ更新を上回る性能を示した。
• NGAEはCIFAR-10で上位3位の性能を達成するアーキテクチャを発見し、複雑さ予測子を備えながらも、NGAEと同等の正確性を維持しつつ、FLOPsを顕著に低減した。
• アブレーションスタディにより、VAEと予測子を同時に学習させることで、D-VAEにベイズ最適化を適用する手法など、別々に学習する手法よりも探索品質が向上したことが確認された。