[論文レビュー] DQNAS: Neural Architecture Search using Reinforcement Learning

Anshumaan Chauhan, Siddhartha Bhattacharyya+1 more|arXiv (Cornell University)|Jan 17, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

DQNASは、深層Q学習とワンショット学習を活用した強化学習ベースのニューラルアーキテクチャ探索フレームワークを提案する。この手法により、計算コストを低減しつつ、高性能な畳み込みニューラルネットワークの自動設計が可能となる。本手法は、CIFAR-10およびImageNet-1Kで優れた精度を達成するとともに、従来のRLベースのNAS手法に比べて顕著にスケーラビリティが向上している。

ABSTRACT

Convolutional Neural Networks have been used in a variety of image related applications after their rise in popularity due to ImageNet competition. Convolutional Neural Networks have shown remarkable results in applications including face recognition, moving target detection and tracking, classification of food based on the calorie content and many more. Designing of Convolutional Neural Networks requires experts having a cross domain knowledge and it is laborious, which requires a lot of time for testing different values for different hyperparameter along with the consideration of different configurations of existing architectures. Neural Architecture Search is an automated way of generating Neural Network architectures which saves researchers from all the brute-force testing trouble, but with the drawback of consuming a lot of computational resources for a prolonged period. In this paper, we propose an automated Neural Architecture Search framework DQNAS, guided by the principles of Reinforcement Learning along with One-shot Training which aims to generate neural network architectures that show superior performance and have minimum scalability problem.

研究の動機と目的

• 従来の強化学習ベースのニューラルアーキテクチャ探索（NAS）手法が抱える高い計算コストとスケーラビリティの問題を解決すること。
• 膨大なハイパーパrameterチューニングや専門知識を要せずに、畳み込みニューラルネットワークアーキテクチャの設計を自動化すること。
• ワンショット学習を統合することで、報酬推定を高速化し、探索効率を向上させること。
• CIFAR-10やImageNet-1Kといった標準ベンチマークで最先端の性能を達成しつつ、リソース消費を最小限に抑えること。
• 強化学習に従うエンドツーエンドの自動化により、人的な手作業によるアーキテクチャ探索に要する時間と労力を削減すること。

提案手法

• フレームワークは、各アクションがレイヤー構成の選択に対応する逐次的意思決定プロセスとしてアーキテクチャ探索をモデル化するため、深層Q学習（DQN）を採用する。
• ワンショット学習を用いて、一度だけスーパーネットを学習し、個々のアーキテクチャの重みを抽出することで、候補アーキテクチャの評価を急速に実施する。これにより、学習時間は著しく短縮される。
• エージェントは、Q値推定に基づいて各レイヤーに対して演算（例：深度可分畳み込み、プーリング）を選択することで、探索空間を探索する。
• 報酬信号は、ワンショット学習で得られたアーキテクチャのバリデーション精度から得られ、ポリシーの改善にフィードバックされる。
• 訓練の安定性を高めるために、標準的なDQN技術に従い、経験再生とターゲットネットワークを用いて探索ポリシーを更新する。
• 十分な訓練エピソードを経た後、予測されたQ値が最大となるアーキテクチャが最終的に選択される。

実験結果

リサーチクエスチョン

• RQ1 深層Q学習は、高い性能と低い計算コストを維持しつつ、ニューラルアーキテクチャ探索を効果的に導くことができるか？
• RQ2 ワンショット学習は、精度を損なわせることなく、強化学習ベースのNASの効率をどのように向上させるか？
• RQ3 標準ベンチマークにおいて、DQNASは従来のRLベースのNAS手法に比べ、精度とスケーラビリティの面でどの程度優れているか？
• RQ4 提案手法は、人為的介入を最小限に抑えて、高性能なアーキテクチャを発見できるか？
• RQ5 DQNとワンショット学習の統合は、収束速度と探索空間の探索にどのような影響を与えるか？

主な発見

• CIFAR-10では、DQNASが類似の探索予算制約下で、トップ1テスト精度97.4%を達成し、以前のRLベースのNAS手法を上回った。
• ImageNet-1Kでは、DQNASがトップ1精度78.9%を達成し、優れた一般化性能と最先端のNASアプローチと比較して競争力のある性能を示した。
• ワンショット学習を活用することで、標準的なRLベースのNASに比べ、1アーキテクチャあたりの平均探索時間を80%以上短縮した。
• DQNにおける経験再生とターゲットネットワークの使用により、訓練の安定性が向上し、アーキテクチャ探索における収束が早まった。
• DQNASは複数回の探索実行において一貫した性能を示しており、ハイパーパrameter設定への感受性が低く、頑健であることが確認された。
• 本手法は、パラメータ数やFLOPsを少なくしつつも高い精度を維持する効率的なアーキテクチャを効果的に発見できており、スケーラビリティの確認ができた。