[論文レビュー] Designing Neural Network Architectures using Reinforcement Learning

Bowen Baker, Otkrist Gupta+2 more|arXiv (Cornell University)|Nov 7, 2016

Adversarial Robustness in Machine Learning被引用数 424

ひとこと要約

この論文は MetaQNN を紹介します。MetaQNN は標準的なレイヤータイプから CNN アーキテクチャを自動設計する Q-learning ベースのメタモデリング手法で、人手による設計なしに画像分類のベンチマークで競争力のある、あるいはそれを上回る性能を達成します。転移可能なトップモデルとアンサンブルを用いた自動アーキテクチャ探索を実証します。

ABSTRACT

At present, designing convolutional neural network (CNN) architectures requires both human expertise and labor. New architectures are handcrafted by careful experimentation or modified from a handful of existing networks. We introduce MetaQNN, a meta-modeling algorithm based on reinforcement learning to automatically generate high-performing CNN architectures for a given learning task. The learning agent is trained to sequentially choose CNN layers using $Q$-learning with an $ε$-greedy exploration strategy and experience replay. The agent explores a large but finite space of possible architectures and iteratively discovers designs with improved performance on the learning task. On image classification benchmarks, the agent-designed networks (consisting of only standard convolution, pooling, and fully-connected layers) beat existing networks designed with the same layer types and are competitive against the state-of-the-art methods that use more complex layer types. We also outperform existing meta-modeling approaches for network design on image classification tasks.

研究の動機と目的

• 人間の専門知識や手動の試行錯誤への依存を減らすために CNN アーキテクチャ設計を自動化する。
• 強化学習を用いて大規模で離散的な CNN トポロジー空間を探索する。
• MetaQNN によって発見されたアーキテクチャが、同じレイヤータイプを用いた手作りのネットワークよりも優れていることを示す。
• より複雑なレイヤータイプを用いた最新手法と比べて競争力のある性能を示す。
• 複数の MetaQNN 設計の転移学習潜在性とアンサンブルの利点を評価する。

提案手法

• CNN レイヤー選択をマルコフ決定過程としてモデル化する。状態はレイヤーのパラメータを、アクションはレイヤーの追加をエンコードする。
• ε-greedy 探索戦略と経験再生を用いてアーキテクチャ構築のポリシーを学習する。
• 離散化されたレイヤー パラメータと DAG 構造の遷移で状態-行動空間を制限し、学習を扱いやすくする。
• 固定で aggressivetrainingsche あたたかく、探索中にアーキテクチャを迅速に訓練し、最有力候補を再訓練してファインチューニングを行う。
• CIFAR-10, SVHN, MNIST を標準的な CNN コンポーネント（conv, pool, FC）で評価する。
• 手作りネットワークおよび発見されたモデルのアンサンブルを含む従来のメタモデリング手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、標準レイヤータイプのみを用いて、人手設計のネットワークを上回る CNN アーキテクチャを信頼して発見できるか。
• RQ2 MetaQNN 発見のアーキテクチャはデータセット間で転移し、アンサンブルの恩恵を受けるか。
• RQ3 探索-利用のバランスは発見されるアーキテクチャの質と多様性にどう影響するか。
• RQ4 MetaQNN の設計は、より複雑なレイヤータイプを用いる最新手法とどのように比較されるか。

主な発見

• MetaQNN は CIFAR-10, SVHN, MNIST において、同じレイヤータイプで設計された既存のネットワークを上回る CNN を発見する。
• トップの MetaQNN モデルは、より複雑なレイヤータイプと訓練手法を用いる最先端の方法と競合するか、時には上回る。
• データ拡張なしで、トップ MetaQNN モデルのアンサンブルは MNIST で優れた結果を達成する。
• 最良の CIFAR-10 モデルとトップモデルのアンサンブルは、関連する自動設計手法と比較して競争力がある、またはそれを上回る。
• エージェントは ε が減少するとモデル選択が改善されることを示し、学習プロセスを検証する。
• トップ設計は他データセットへの転移性を示し、転移学習適性を示唆する。