[論文レビュー] Hierarchical Representations for Efficient Architecture Search

Hanxiao Liu, Karen Simonyan+3 more|arXiv (Cornell University)|Nov 1, 2017

Evolutionary Algorithms and Applications参考文献 23被引用数 227

ひとこと要約

論文は階層的なアーキテクチャ表現を導入し、これらの表現に対する進化的またはランダム探索が画像分類の競合的なニューラルネットワークセルを発見できることを示し、CIFAR-10でトップ-1エラー3.75%、ImageNetでトップ1 20.3%、効率的な探索時間を達成します。

ABSTRACT

We explore efficient neural architecture search methods and show that a simple yet powerful evolutionary algorithm can discover new architectures with excellent performance. Our approach combines a novel hierarchical genetic representation scheme that imitates the modularized design pattern commonly adopted by human experts, and an expressive search space that supports complex topologies. Our algorithm efficiently discovers architectures that outperform a large number of manually designed models for image classification, obtaining top-1 error of 3.6% on CIFAR-10 and 20.3% when transferred to ImageNet, which is competitive with the best existing neural architecture search approaches. We also present results using random search, achieving 0.3% less top-1 accuracy on CIFAR-10 and 0.1% less on ImageNet whilst reducing the search time from 36 hours down to 1 hour.

研究の動機と目的

• 効率的なニューラルアーキテクチャ探索（NAS）を、人間主導のブロック設計を反映する階層的でモジュラーな表現を設計することで動機づける。
• 単純な探索戦略（ランダム／進化的）が強力な階層空間と組み合わさると競争的な性能を達成できることを示す。
• CIFAR-10からImageNetへの discovered アーキテクチャのスケーラビリティと転移性を示す。
• NASの計算時間を削減する効率的な分散探索フレームワークを提供する。

提案手法

• 平坦な表現と階層的なニューラルアーキテクチャ表現を定義する。
• 階層的モチーフベースのエンコーディングを導入し、下位レベルのモチーフが上位レベルのモチーフの構成要素となる。
• 6つのボトムレベルプリミティブ（1x1 conv, 3x3 depthwise conv, 3x3 separable conv, 3x3 max-pool, 3x3 avg-pool, identity）と none edge オプションを指定する。
• 階層全体のモチーフ間のエッジを変更する変異オペレーターを用いた進化的探索を行う（エッジの追加、変更、削除を含む）。
• 固定予算でScratchからの訓練によってアーキテクチャの適合度を評価するコントローラがトーナメント選択を行い、ワーカーが分散的に非同期で評価する、アシンクロナス分散進化を採用。
• 表現と探索戦略の影響を評価するために、進化的探索とランダム探索を比較する。

実験結果

リサーチクエスチョン

• RQ1 階層表現は平坦な表現と比べてNASの効率性と有効性を改善できるか？
• RQ2 ランダム探索と進化的探索は階層空間で高性能なアーキテクチャを発見する際にどう比較されるか？
• RQ3 CIFAR-10で見つかったアーキテクチャの性能と転移性はImageNetでどう評価されるか？
• RQ4 提案する非同期分散NASフレームワークの計算効率（時間、リソース）はどの程度か？

主な発見

Search Method	CIFAR-10 error (%)	ImageNet Top-1 error (%)	ImageNet Top-5 error (%)
Flat repr-n, random architecture	4.56 ± 0.11	21.4	5.8
Flat repr-n, random search (200 samples)	4.02 ± 0.11	20.8	5.7
Flat repr-n, evolution (7000 samples)	3.92 ± 0.06	20.6	5.6
Flat repr-n, parameter-constrained, evolution (7000 samples)	4.17 ± 0.08	21.2	5.8
Hier. repr-n, random architecture	4.21 ± 0.11	21.5	5.8
Hier. repr-n, random search (200 samples)	4.04 ± 0.20	20.4	5.3
Hier. repr-n, random search (7000 samples)	3.91 ± 0.15	21.0	5.5
Hier. repr-n, evolution (7000 samples)	3.75 ± 0.12	20.3	5.2

• 階層的な表現は平坦な表現と比べて同等の性能でよりパラメータ効率の高いアーキテクチャを可能にする。
• 階層空間に対するランダム探索は競争力のある結果を生み出し、設計済み探索空間の重要性を裏付ける。
• 階層表現に対する進化的探索は最も良い結果を達成する：CIFAR-10 3.75% ±0.12%（64チャネル） and 3.63% ±0.10%（128チャネル）；ImageNetトップ1 20.3%、トップ5 5.2%。
• 前例のNAS研究と比較して、ウォール時計時間が大幅に少なく強力な性能を達成する（例：1250件のアーキテクチャを対象としたランダム探索で1時間、200 GPUsでの7000ステップ進化で1.5日等）。
• 進化した階層的セルにはスキップ接続とモジュール化されたモチーフが含まれ、学習されたアーキテクチャパターンを示す。
• 階層的セルを持つ進化モデルは約64Mパラメータ（ImageNet）を有し、Inception-ResNet-v2に近いかそれ以上で、NASNet-Aより大きい。