[論文レビュー] A Survey on Neural Architecture Search

Martin Wistuba, Ambrish Rawat+1 more|arXiv (Cornell University)|May 4, 2019

Machine Learning and Data Classification参考文献 113被引用数 208

ひとこと要約

この調査は神経ネットワークアーキテクチャ探索（NAS）の統一的形式論を提供し、グローバル検索空間とセルベース検索空間を比較し、強化学習、進化アルゴリズム、代替/ワンショットモデルなどの最適化手法をレビューします。

ABSTRACT

The growing interest in both the automation of machine learning and deep learning has inevitably led to the development of a wide variety of automated methods for neural architecture search. The choice of the network architecture has proven to be critical, and many advances in deep learning spring from its immediate improvements. However, deep learning techniques are computationally intensive and their application requires a high level of domain knowledge. Therefore, even partial automation of this process helps to make deep learning more accessible to both researchers and practitioners. With this survey, we provide a formalism which unifies and categorizes the landscape of existing methods along with a detailed analysis that compares and contrasts the different approaches. We achieve this via a comprehensive discussion of the commonly adopted architecture search spaces and architecture optimization algorithms based on principles of reinforcement learning and evolutionary algorithms along with approaches that incorporate surrogate and one-shot models. Additionally, we address the new research directions which include constrained and multi-objective architecture search as well as automated data augmentation, optimizer and activation function search.

研究の動機と目的

• NAS問題と空間定義の調査と形式化
• グローバルとセルベースNAS空間とその転移性の比較
• 強化学習、進化アルゴリズム、代替モデル、ワンショット探索を含む最適化アプローチのレビューとトレードオフ
• 制約付き、多目的、および自動データ増強/オプティマイザ/活性化探索への拡張を議論
• NASのオープン課題と今後の研究方向の強調

提案手法

• 操作と入力を表すノードを持つ計算グラフ上の探索としてニューラルアーキテクチャ探索を定義
• NAS空間をグローバル探索空間とセルベース探索空間に分類し、代表的デザインを議論
• α-アーキテクチャ表現と目的ベース最適化によるNASの統一的形式フレームワークを提示
• 強化学習、進化アルゴリズム、サロゲートモデルベース最適化、ワンショットNASを含む最適化手法を正式な問題設定とともにレビュー
• NASの拡張として多目的・制約最適化、モデル圧縮を分析
• 空間設計と最適化戦略を対比する主要なNAS研究からの説明的例を提供

実験結果

リサーチクエスチョン

• RQ1 よくあるNAS検索空間は何で、グローバル空間とセルベース空間はどう異なるか
• RQ2 異なる最適化手法（RL、進化、サロゲート/ワンショット）はNAS内でどのように機能し、それらのトレードオフは何か
• RQ3 多目的最適化、制約、データ拡張、活性化子/オプティマイザ探索などの拡張がNAS研究の方向性をどのように形作るか
• RQ4 NASアーキテクチャはデータセットやタスク間で転移可能か、転移性を可能にする空間の特性は何か
• RQ5 NAS方法論にはどんな落とし穴や誤解があり、それをどう緩和できるか

主な発見

• セルベースNAS空間（例：NASNet）は転移性とスケーラブルな設計のために広く採用されている
• グローバル検索空間は多様性を提供しモバイルアーキテクチャにも潜在的な利点があるが、転移は難しい場合がある
• ワンショットとサロゲートモデルアプローチはNASの計算負担を軽減できる（引用された手法を通じて議論）
• 多目的および制約付きNASは、パラメータと待機時間などのデプロイメントを考慮する活発な方向性である
• 初期のアーキテクチャと空間設計はNASの成果とタスク間の転移性に大きく影響する
• 強化学習と進化的戦略はアーキテクチャ探索に相補的な強みを提供する