[論文レビュー] Neural Architecture Search with Reinforcement Learning

Barret Zoph, Quoc V. Le|arXiv (Cornell University)|Nov 5, 2016

Machine Learning and Data Classification参考文献 45被引用数 3,860

ひとこと要約

この論文は、ポリシー勾配(REINFORCE)で訓練されたリカレントコントローラを使用してCNNとRNNのアーキテクチャを生成するNASを紹介する；NASはCIFAR-10とPenn Treebankでスクラッチから競合モデルを発見する。

ABSTRACT

Neural networks are powerful and flexible models that work well for many difficult learning tasks in image, speech and natural language understanding. Despite their success, neural networks are still hard to design. In this paper, we use a recurrent network to generate the model descriptions of neural networks and train this RNN with reinforcement learning to maximize the expected accuracy of the generated architectures on a validation set. On the CIFAR-10 dataset, our method, starting from scratch, can design a novel network architecture that rivals the best human-invented architecture in terms of test set accuracy. Our CIFAR-10 model achieves a test error rate of 3.65, which is 0.09 percent better and 1.05x faster than the previous state-of-the-art model that used a similar architectural scheme. On the Penn Treebank dataset, our model can compose a novel recurrent cell that outperforms the widely-used LSTM cell, and other state-of-the-art baselines. Our cell achieves a test set perplexity of 62.4 on the Penn Treebank, which is 3.6 perplexity better than the previous state-of-the-art model. The cell can also be transferred to the character language modeling task on PTB and achieves a state-of-the-art perplexity of 1.214.

研究の動機と目的

• 自動化されたアーキテクチャ設計を動機づけ、人間の専門家の労力と neural networks の構築に要する時間を削減する。
• コントローラRNNがアーキテクチャのハイパーパラメータをトークンの列として出力することを提案する。
• 検証精度を報酬として強化学習を用いてアーキテクチャを最適化する。
• NASがスクラッチから競争力のある畳み込み・再帰的アーキテクチャを生み出せることを示す。

提案手法

• コントローラRNNを用いてアーキテクチャ記述をトークンの列として生成する。
• 生成されたアーキテクチャに対応する子ネットワークを訓練し、検証精度を報酬として用いる。
• 報酬の期待値を最大化するようコントローラを訓練するために基準付きREINFORCEを適用する。
• 入力の注意に基づくサンプリングを通じてスキップ接続や異なるレイヤータイプを拡張し、探索空間を拡張する。
• コントローラに導かれた計算木を構築することにより、再帰セルの生成へと拡張する。

実験結果

リサーチクエスチョン

• RQ1 コントローラRNNは人間設計のテンプレートなしに競争力のある畳み込みおよび再帰アーキテクチャをスクラッチから生成できるか？
• RQ2 強化学習は検証性能に基づくアーキテクチャ生成を効果的に最適化できるか？
• RQ3 スキップ接続と多様なレイヤータイプはNASの性能にどう影響するか？
• RQ4 NASで生成された再帰セルは言語モデリングタスクで標準のLSTMを上回るか？

主な発見

Model	Depth	Parameters	Error rate (%)
Neural Architecture Search v3 max pooling + more filters	39	37.4M	3.65
Neural Architecture Search v3 max pooling	39	7.1M	4.47
Neural Architecture Search v2 predicting strides	20	2.5M	6.01
Neural Architecture Search v1 no stride or pooling	15	4.2M	5.50

• On CIFAR-10, NAS discovers architectures achieving 3.65% test error, rivaling strong human-designed models and faster than a comparable prior model.
• On Penn Treebank, NAS discovers a novel recurrent cell with perplexity 62.4, outperforming prior RNN/LSTM baselines.
• NAS-generated architectures can transfer well, with a NAS-derived cell achieving 1.214 perplexity on PTB character modeling in transfer experiments.
• A larger, more expressive NAS search (including strides and pooling) yields further performance gains, approaching state-of-the-art results.
• The NAS approach demonstrates competitive results across both image and language modeling benchmarks using a single training framework.