[論文レビュー] Neural Architecture Search: A Survey

Thomas Elsken, Jan Hendrik Metzen+1 more|arXiv (Cornell University)|Aug 16, 2018

Machine Learning and Data Classification参考文献 94被引用数 1,401

ひとこと要約

この調査は検索空間、探索戦略、性能評価戦略に沿ってニューラルアーキテクチャ探索（NAS）手法を分類し、共通の設計、アルゴリズム、将来の方向性を概説する。 RL、進化、ベイズ、勾配ベースのアプローチを比較し、アーキテクチャを評価する際の効率化手法を論じる。

ABSTRACT

Deep Learning has enabled remarkable progress over the last years on a variety of tasks, such as image recognition, speech recognition, and machine translation. One crucial aspect for this progress are novel neural architectures. Currently employed architectures have mostly been developed manually by human experts, which is a time-consuming and error-prone process. Because of this, there is growing interest in automated neural architecture search methods. We provide an overview of existing work in this field of research and categorize them according to three dimensions: search space, search strategy, and performance estimation strategy.

研究の動機と目的

• NAS を深層学習のためのアーキテクチャ設計の自動化における論理的ステップとして研究動機づける。
• NAS 手法を検索空間、探索戦略、性能推定戦略の3つの次元で分類する。
• 歴史的および現代的なアプローチ（RL、進化、BO、勾配ベース）と性能推定の効率化技術を調査する。

提案手法

• NAS 文献を三つの次元（検索空間、探索戦略、性能推定）に沿ってレビューし分類する。
• チェーン構造、スキップ接続を持つ多分岐、セルベース空間など共通の探索空間を説明し、それらが最適化に与える影響を論じる。
• 強化学習、ニューラル進化、ベイズ最適化、勾配ベースの手法、ランダム/ヒルクライミングなど、多様な探索戦略を要約し、それぞれの長所と短所を示す。
• 低忠実度の代理指標、学習曲線外挿、重み継承／モルフィズム、ワンショットモデルなど、計算コストを削減する性能推定戦略とそれらのバイアスを説明する。

Figure 1: Abstract illustration of Neural Architecture Search methods. A search strategy selects an architecture $\mathsf{A}$ from a predefined search space $\mathcal{A}$ . The architecture is passed to a performance estimation strategy, which returns the estimated performance of $\mathsf{A}$ to the

実験結果

リサーチクエスチョン

• RQ1 NAS の主な構成要素と設計選択（検索空間、探索戦略、性能推定）とそれらの相互作用はどのようになっているか。
• RQ2 異なる NAS アプローチ（RL、進化、BO、勾配ベース）は、効率と最終性能の点でどのように比較されるか。
• RQ3 NAS の性能推定を高速化する技術にはどのようなものがあり、それらはどんなバイアスを生み出すか。
• RQ4 画像分類を超え、マルチタスク、マルチ目的、あるいは頑健なアーキテクチャへ NAS を広げる将来の方向性は何か。

主な発見

• NAS 手法は、画像分類、物体検出、セマンティックセグメンテーションなどのタスクにおいて、手動アーキテクチャを上回る成果を報告している研究が多い。
• セルベースの探索空間は探索空間のサイズを削減し、データセット間の転移性を向上させ、探索を高速化し学習設計の再利用を可能にする。
• ワンショットと重み共有 NAS は計算資源をGPU日数単位に大幅削減するが、解釈に注意が必要なバイアスや相関を生む可能性がある。
• 勾配ベースの NAS（連続緩和）は効率的な最適化を可能にするが、緩和の品質に依存し、最適化後の離散化が必要となる場合がある。
• RL と進化は、任意時点の性能とアーキテクチャサイズのトレードオフが異なる競争力のある性能を提供する一方、報告された研究ではランダム探索は一般に上回られている。
• 低忠実度の性能推定が探索を高速化する証拠がある一方、忠実度の差が大きい場合はアーキテクチャのランク付けにバイアスをもたらす可能性がある。

Figure 3: Illustration of the cell search space. Left: Two different cells, e.g., a normal cell (top) and a reduction cell (bottom) (Zoph et al., 2018 ) . Right: an architecture built by stacking the cells sequentially. Note that cells can also be combined in a more complex manner, such as in multi-