[論文レビュー] Neural Architecture Search: Insights from 1000 Papers

Colin White, Mahmoud Safari+6 more|arXiv (Cornell University)|Jan 20, 2023

Machine Learning and Data Classification被引用数 72

ひとこと要約

本調査は、探索空間、アルゴリズム、スピードアップ、リソースの分類法（タクソノミー）に基づき NAS 研究を整理し、2020年以降 1000件を超える論文による急速な進展と実践的な指針を強調する。

ABSTRACT

In the past decade, advances in deep learning have resulted in breakthroughs in a variety of areas, including computer vision, natural language understanding, speech recognition, and reinforcement learning. Specialized, high-performing neural architectures are crucial to the success of deep learning in these areas. Neural architecture search (NAS), the process of automating the design of neural architectures for a given task, is an inevitable next step in automating machine learning and has already outpaced the best human-designed architectures on many tasks. In the past few years, research in NAS has been progressing rapidly, with over 1000 papers released since 2020 (Deng and Lindauer, 2021). In this survey, we provide an organized and comprehensive guide to neural architecture search. We give a taxonomy of search spaces, algorithms, and speedup techniques, and we discuss resources such as benchmarks, best practices, other surveys, and open-source libraries.

研究の動機と目的

• 構造化され、最新の neural architecture search (NAS) ガイドを提供する。
• NAS を探索空間、戦略、性能推定/スピードアップ技術で分類する。
• 再現性を促進するリソース、ベンチマーク、オープンソースライブラリについて議論する。

提案手法

• NAS の探索空間の分類法（macro、chain-structured、cell-based、hierarchical）を提示する。
• アーキテクチャのエンコーディングと NAS の性能への影響を説明する。
• ブラックボックス最適化と One-shot NAS 戦略を調査し、ベースラインと一般的なアルゴリズムを含める。
• NAS を加速するスピードアップ技術と性能推定手法を要約する。
• 拡張、応用、リソース（ベンチマーク、調査、ライブラリ）を議論する。

実験結果

リサーチクエスチョン

• RQ1 主な NAS の探索空間は何で、表現力と探索効率はどのように異なるのか。
• RQ2 支配的な NAS の探索戦略は何で、堅牢性と速度の点でどのように比較されるのか。
• RQ3 実用的な NAS を大規模で可能にするスピードアップと性能推定技術は何か。
• RQ4 再現性のある NAS 研究を支援するリソース（ベンチマーク、ライブラリ、ベストプラクティス）は何か。
• RQ5 画像分類以外の領域で NAS はどのように進化してきたのか。

主な発見

• NAS は急速に進化しており、過去2年間で 1000 論文以上が発表され、さまざまなタスクで人間設計のアーキテクチャを凌駕する。
• One-shot および重み共有法は NAS を substantially 速くし、堅牢性も高まっている一方、従来のブラックボックス法は特定の設定で依然として価値がある。
• Cell-based 探索空間は効率と転移性のために最も人気があるが、表現力には制限がある可能性がある； hierarchical 空間は探索コストのIncrease で表現力を高める。
• NAS-Bench-101 などのベンチマークは再現性と科学的研究を NAS において進展させた； NAS の研究は視覚から音声、NLP などへと拡大している。
• diverse encoding strategies（graph-based、path-based、learned encodings） は NAS の性能と一般化に大きく影響する。