[論文レビュー] A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions

Pengzhen Ren, Yun Xiao+5 more|arXiv (Cornell University)|Jun 1, 2020

Machine Learning and Data Classification参考文献 155被引用数 202

ひとこと要約

この調査はNASを再定義し、初期の課題を現代の解決策に追跡する。4つの柱からなる最適化フレームワーク（モジュラーな探索空間、連続探索、アーキテクチャのリサイクル、不完全な訓練）を提案し、今後の研究方向性を概説する。

ABSTRACT

Deep learning has made breakthroughs and substantial in many fields due to its powerful automatic representation capabilities. It has been proven that neural architecture design is crucial to the feature representation of data and the final performance. However, the design of the neural architecture heavily relies on the researchers' prior knowledge and experience. And due to the limitations of human' inherent knowledge, it is difficult for people to jump out of their original thinking paradigm and design an optimal model. Therefore, an intuitive idea would be to reduce human intervention as much as possible and let the algorithm automatically design the neural architecture. Neural Architecture Search (NAS) is just such a revolutionary algorithm, and the related research work is complicated and rich. Therefore, a comprehensive and systematic survey on the NAS is essential. Previously related surveys have begun to classify existing work mainly based on the key components of NAS: search space, search strategy, and evaluation strategy. While this classification method is more intuitive, it is difficult for readers to grasp the challenges and the landmark work involved. Therefore, in this survey, we provide a new perspective: beginning with an overview of the characteristics of the earliest NAS algorithms, summarizing the problems in these early NAS algorithms, and then providing solutions for subsequent related research work. Besides, we conduct a detailed and comprehensive analysis, comparison, and summary of these works. Finally, we provide some possible future research directions.

研究の動機と目的

• 初期の RL/EA 手法から現代の効率的戦略への Neural Architecture Search (NAS) の進化を説明する。
• NAS の核心的課題（探索空間、探索効率、評価）を特定し、具体的な解決策に対して対応づける。
• NAS の有効性に対する影響を示す4つの主要な最適化方向を強調する統一的なフレームワークを提案する。

提案手法

• 歴史的なNAS研究を分析して、基盤となる特性と限界を特定する。
• モジュラーな探索空間、連続探索戦略、ニューラルアーキテクチャのリサイクル、不完全訓練の4つの最適化方向を導入・統合する。
• 微分可能な探索（例：DARTS）が離散的な選択を緩和して勾配ベースの最適化を可能にする方法を説明する。
• モジュラーな探索空間（セル/ブロック）が性能を維持しつつ探索の複雑さを低減する方法を論じる。
• 効率性、スケーラビリティ、およびより広い適用分野に関するNASの進化を文脈づける。

実験結果

リサーチクエスチョン

• RQ1 初期のNASアプローチの主な制限は何であり、それらは以降の手法によってどのように対処されてきたか？
• RQ2 モジュラーな探索空間と連続最適化はNASの効率と効果をどう改善するか？
• RQ3 NAS中の計算負荷削減において、ニューラルアーキテクチャのリサイクルと不完全訓練はどのような役割を果たすか？
• RQ4 NAS研究には将来の方向性と課題として何が残されているか？

主な発見

• NASの進化に関する包括的な課題から解決策への視点を提供する。
• 4つの核心的最適化方向と、それらが探索効率とアーキテクチャ品質に与える実践的影響を強調する。
• 広く普及しているセルベースの探索空間アプローチと、それらが現代のNAS設計に与える影響を評価する。
• 評価の課題と統一されたベンチマークおよび将来の研究方向の必要性について論じる。