[論文レビュー] A Review of Meta-Reinforcement Learning for Deep Neural Networks Architecture Search

Yesmina Jaafra, Jean Luc Laurent+2 more|arXiv (Cornell University)|Dec 17, 2018

Advanced Neural Network Applications参考文献 46被引用数 11

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）アーキテクチャ探索を自動化するためのメタ強化学習（meta-RL）アプローチをレビューし、メタ-RLが巨大なアーキテクチャ空間を効率的かつ適応的に探索できる制御方策を学習可能であることに焦点を当てる。主な貢献は、現在の手法を包括的に統合し、強化学習が主な戦略であることを強調するとともに、モジュラーな探索空間と、計算コストを削減しながらも画像分類タスクで高い精度を維持する性能予測技術を明らかにすることにある。

ABSTRACT

Deep Neural networks are efficient and flexible models that perform well for a variety of tasks such as image, speech recognition and natural language understanding. In particular, convolutional neural networks (CNN) generate a keen interest among researchers in computer vision and more specifically in classification tasks. CNN architecture and related hyperparameters are generally correlated to the nature of the processed task as the network extracts complex and relevant characteristics allowing the optimal convergence. Designing such architectures requires significant human expertise, substantial computation time and doesn't always lead to the optimal network. Model configuration topic has been extensively studied in machine learning without leading to a standard automatic method. This survey focuses on reviewing and discussing the current progress in automating CNN architecture search.

研究の動機と目的

• 自動化されたディープニューラルネットワークアーキテクチャ探索のためのメタ強化学習に関する最近の進展を調査・分析すること。
• 探索最適化、アーキテクチャ設計（シンプル対モジュラー）、探索加速技術における主なメソドロジカルなトレンドを同定すること。
• 性能予測、プロキシ指標、ネットワーク変換が、ニューラルアーキテクチャ探索中の計算コストを低減する役割を評価すること。
• 特に、早期停止やプロキシ指標によるバイアスのリスクといった、現在のアプローチの限界を強調すること。
• 将来的な研究方向性、例えばマルチタスク学習、重み共有、より効率的な探索アルゴリズムを特定し、自動アーキテクチャ探索の広範なアクセス可能性を高めること。

提案手法

• 性能フィードバックに基づいてCNNアーキテクチャを生成・評価する制御方策を学習するために、メタ強化学習を採用する。
• 複数のGPUおよびマシンを用いた分散トレーニングを実行するパラメータサーバー枠組みを用い、候補アーキテクチャの評価を並列化する。
• 代替モデルと学習曲線の外挿を適用し、検証精度を早期に予測することで、劣悪なアーキテクチャの完全なトレーニングを回避する。
• ネットワークモルフィズムとトランスファー学習を活用し、事前学習済み重みを用いて新しいアーキテクチャを初期化することで、収束を加速する。
• 探索中に迅速に性能を推定するために、ミニバッチトレーニングや低解像度画像といったプロキシ指標を適用する。
• 再利用可能なブロックに制限された探索空間を提供するモジュラー（マルチブランチ）アーキテクチャ設計を導入し、効率性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 メタ強化学習は、多様な画像分類タスクにわたる最適なCNNアーキテクチャの探索を、どのように効果的に自動化できるか？
• RQ2 計算コストを削減しながら最終モデルの性能を劣化させない、最も効果的な探索加速技術は何か？
• RQ3 プロキシ指標と早期停止は、アーキテクチャ探索プロセスにどの程度バイアスをもたらすか？
• RQ4 モジュラー設計アプローチ（例：セルベース探索）は、シンプルなアーキテクチャ探索に比べて、探索効率と一般化性能をどのように向上させるか？
• RQ5 マルチタスク学習や重み共有といった、将来的な方向性は、自動アーキテクチャ探索のアクセス可能性とスケーラビリティをどのように向上させるか？

主な発見

• 強化学習は、画像分類タスクにおいて強く実証された性能を示すため、アーキテクチャ探索制御方策の学習において支配的戦略となった。
• 特に再利用可能なブロックやセルを用いたモジュラーなアーキテクチャ探索は、探索空間を著しく縮小し、タスク間での一般化性能を向上させる。
• 代替モデルによる性能予測と早期停止（例：ミニバッチや低解像度データの使用）により、トレーニング時間を最大90％まで短縮でき、精度の損失はほとんどない。
• ネットワークモルフィズムとトランスファー学習技術により、事前学習済み重みを再利用することで、収束が迅速化され、ランダム初期化の必要性が低減される。
• 加速技術が導入されていても、現在のメタ-RLベースのアプローチは依然として計算コストが高く、小規模な研究グループにとってはアクセスが制限されている。
• 将来的にはマルチタスク学習や重み共有といった手法が、自動アーキテクチャ探索の計算的障壁を低減し、スケーラビリティを向上させるために不可欠である。