[論文レビュー] Sample-Efficient Neural Architecture Search by Learning Action Space

Linnan Wang, Saining Xie+3 more|arXiv (Cornell University)|Jun 17, 2019

Machine Learning and Data Classification参考文献 66被引用数 37

ひとこと要約

LaNAS は NAS 検索空間を分割する潜在的な行動を学習し、Monte Carlo Tree Search を可能にする。これによりベースラインより著しくサンプル効率が向上し、評価数を大幅に減らして最先端の精度を達成する。

ABSTRACT

Neural Architecture Search (NAS) has emerged as a promising technique for automatic neural network design. However, existing MCTS based NAS approaches often utilize manually designed action space, which is not directly related to the performance metric to be optimized (e.g., accuracy), leading to sample-inefficient explorations of architectures. To improve the sample efficiency, this paper proposes Latent Action Neural Architecture Search (LaNAS), which learns actions to recursively partition the search space into good or bad regions that contain networks with similar performance metrics. During the search phase, as different action sequences lead to regions with different performance, the search efficiency can be significantly improved by biasing towards the good regions. On three NAS tasks, empirical results demonstrate that LaNAS is at least an order more sample efficient than baseline methods including evolutionary algorithms, Bayesian optimizations, and random search. When applied in practice, both one-shot and regular LaNAS consistently outperform existing results. Particularly, LaNAS achieves 99.0% accuracy on CIFAR-10 and 80.8% top1 accuracy at 600 MFLOPS on ImageNet in only 800 samples, significantly outperforming AmoebaNet with 33x fewer samples. Our code is publicly available at https://github.com/facebookresearch/LaMCTS.

研究の動機と目的

• NAS における action space（行動空間）の設計の重要性と、それが探索効率に与える影響を動機づける。
• 探索空間を高性能領域と低性能領域に分割する潜在的行動を学習する方法を提案する。
• 学習した行動を Monte Carlo Tree Search と統合して、アーキテクチャを効率的にサンプリングする。
• 多様な NAS ベンチマークで LaNAS を評価し、ベースライン探索手法と比較する。

提案手法

• 潜在的行動を定義する線形回帰器で各ノードにおける NAS 探索空間の分割をモデル化する。
• 空間を再帰的に良好な領域と悪い領域に分割して階層的木を形成する。
• UCB を用いた Monte Carlo Tree Search で葉を探索し、分割された領域からアーキテクチャをサンプリングする。
• 性能を推定するため、ゼロからの訓練またはマスキングを用いたワンショット・スーパーネットによる評価。
• 必要に応じて、マスキングによって特定のアーキテクチャへ変換するワンショットNASスーパーネットと統合する。

実験結果

リサーチクエスチョン

• RQ1 NAS空間を分割する潜在的行動を学習して MCTS の探索効率を向上させることができるか？
• RQ2 NAS ベンチマーク全体で、LaNAS は進化的、ベイズ、ランダム探索、および MCTS のベースラインと比べてどのように性能を示すか？
• RQ3 木の階層の深さ、初期化サンプル、および UCB のハイパーパラメータが探索性能に与える影響はどの程度か？
• RQ4 ワンショット NAS との統合が評価コストと最終性能に与える影響はどうなるか？

主な発見

• LaNAS は NAS タスク全般において、ベースライン手法よりはるかに高いサンプル効率を達成する。
• CIFAR-10 では、LaNAS が 800 サンプルで 99.0% の精度に到達する。
• ImageNet（600 MFLOPS モバイル設定）では、LaNAS が 800 サンプルで top-1 精度 80.8% に到達する。
• LaNAS は AmoebaNet に比べて約 33 倍少ないサンプル数で競合的な性能に到達する。
• LaNAS は一貫してベースラインを上回り、実際には NAS の大規模 GPU リソースにも拡張可能である。