[論文レビュー] Progressive Neural Architecture Search

Chenxi Liu, Barret Zoph+8 more|arXiv (Cornell University)|Dec 2, 2017

Advanced Neural Network Applications参考文献 41被引用数 166

ひとこと要約

PNAS はCNNセル構造に対する逐次的な代理ガイド探索を導入し、前世代のRLベースNAS手法より最大8倍高速で最先端の精度を達成します。

ABSTRACT

We propose a new method for learning the structure of convolutional neural networks (CNNs) that is more efficient than recent state-of-the-art methods based on reinforcement learning and evolutionary algorithms. Our approach uses a sequential model-based optimization (SMBO) strategy, in which we search for structures in order of increasing complexity, while simultaneously learning a surrogate model to guide the search through structure space. Direct comparison under the same search space shows that our method is up to 5 times more efficient than the RL method of Zoph et al. (2018) in terms of number of models evaluated, and 8 times faster in terms of total compute. The structures we discover in this way achieve state of the art classification accuracies on CIFAR-10 and ImageNet.

研究の動機と目的

• CNNのNASの計算コストを RL および EA アプローチと比較して動機づけ、削減する。
• 代理予測器と組み合わせたCNNセルの逐次的・ブロック単位探索を提案し拡張を導く。
• 発見されたアーキテクチャが CIFAR-10 と ImageNet で最先端の精度をより低い計算量で達成することを示す。
• 単一のセルタイプを共有し、複雑さを段階的に増やすことで探索効率と転移性を改善する。

提案手法

• 各セルあたりBブロックの階層的なセルベース探索空間と、固定のブロック操作と入力の集合を定義する。
• 候補を拡張し代理モデルで性能を予測することにより、単純な（1ブロック）セルから深い（Bブロック）セルへの逐次的探索を行う。
• 候補セルから構築されたproxy CNNの集団を訓練し、検証精度を監督信号として得る。
• 拡張されたセルをランク付けし次世代のTop-Kを選択するために、MLPまたはRNNのアンサンブルとして代理予測器を訓練し、観測データで予測子を更新する。
• 最終的なCNNは、最良のセルタイプを指定のリピートとストライドパターンで積み上げて構築し、CIFAR-10とImageNetのターゲットデータセットで訓練する。
• NAS（RLベース）とランダム探索と効率を比較し、モデル数、総計算量、検証精度のトップを報告する。

Figure 1: Left : The best cell structure found by our Progressive Neural Architecture Search, consisting of 5 blocks. Right : We employ a similar strategy as [ 41 ] when constructing CNNs from cells on CIFAR-10 and ImageNet. Note that we learn a single cell type instead of distinguishing between Nor

実験結果

リサーチクエスチョン

• RQ1 逐次的な代理ガイド探索はNASにおける評価モデル数を削減しつつ、精度を維持または向上できるか。
• RQ2 セルベースの逐次的に複雑さを増す探索空間を用いることで、ImageNetのような大規模データセットへの効率と転移性が向上するか。
• RQ3 代理予測器（MLP対RNNアンサンブル）は有望なアーキテクチャをどれだけうまくランク付けし、未知の大きなセルへ一般化できるか。
• RQ4 CIFAR-10およびImageNetにおけるPNASとNAS、ランダム探索、およびHierarchical EAとの実用上の速度向上と精度のトレードオフはどの程度か。

主な発見

Model	B	N	F	Error	Params	M1	E1	M2	E2	Cost
NASNet-A [41]	5	6	32	3.41	3.3M	20000	0.9M	250	13.5M	21.4-29.3B
NASNet-B [41]	5	4	N/A	3.73	2.6M	20000	0.9M	250	13.5M	21.4-29.3B
NASNet-C [41]	5	4	N/A	3.59	3.1M	20000	0.9M	250	13.5M	21.4-29.3B
Hier-EA [21]	5	2	64	3.75 ± 0.12	15.7M	7000	5.12M	0	0	35.8B
AmoebaNet-B [27]	5	6	36	3.37 ±0.04	2.8M	27000	2.25M	100	27M	63.5B
AmoebaNet-A [27]	5	6	36	3.34 ±0.06	3.2M	20000	1.13M	100	27M	25.2B
AmoebaNet-C [27]	5	6	36	3.35 ±0.05	3.2M	20000	1.13M	100	27M	25.2B
PNASNet-5 [PNAS]	5	3	48	3.41 ±0.09	3.2M	1160	0.9M	0	0	1.0B

• PNAS は Zoph らの RL NAS 手法と比較して評価モデル数の点で最大 5x 効率的である。
• PNAS は同じ探索空間に対して総計算量の点で RL NAS 手法より最大 8x 速い。
• PNAS によって発見されたアーキテクチャは CIFAR-10 および ImageNet で最先端または競争力のある分類精度を達成する。
• 代理ガイド付きの逐次探索を用いることで、直接の完全CNN探索よりも大きく複雑なセルの探索が可能になる。
• MLベースの代理アンサンブル（特にMLPアンサンブル）は、未見の大きなブロック数に対して候補セルの順位付けを効果的に行い、探索効率を改善する。
• PNASNet-5 は ImageNet（Mobile および Large 設定）でいくつかの NAS バリアントより優れており、AmoebaNet 実装よりはるかに少ない計算量を使用している。

Figure 2: Illustration of the PNAS search procedure when the maximum number of blocks is $B=3$ . Here $\mathcal{S}_{b}$ represents the set of candidate cells with $b$ blocks. We start by considering all cells with 1 block, $\mathcal{S}_{1}=\mathcal{B}_{1}$ ; we train and evaluate all of these cells,