[論文レビュー] Automated Deep Learning: Neural Architecture Search Is Not the End

Xuanyi Dong, David Jacob Kedziora+2 more|arXiv (Cornell University)|Dec 16, 2021

Advanced Neural Network Applications被引用数 15

ひとこと要約

本論文は、自動化ディープラーニング（AutoDL）の包括的評価を提示し、ニューラルアーキテクチャサーチ（NAS）が顕著であるものの、AutoDLの唯一の焦点ではないと主張している。著者らは、全ディープラーニングライフサイクルにわたるAutoDL研究を評価するための10の基準——新規性、ソリューションの質、効率性、安定性、解釈可能性、再現性、エンジニアリング品質、スケーラビリティ、一般化可能性、エコフレンドリーネス——を提唱し、NASを越えたより広範かつ包括的な進歩を促している。

ABSTRACT

Deep learning (DL) has proven to be a highly effective approach for developing models in diverse contexts, including visual perception, speech recognition, and machine translation. However, the end-to-end process for applying DL is not trivial. It requires grappling with problem formulation and context understanding, data engineering, model development, deployment, continuous monitoring and maintenance, and so on. Moreover, each of these steps typically relies heavily on humans, in terms of both knowledge and interactions, which impedes the further advancement and democratization of DL. Consequently, in response to these issues, a new field has emerged over the last few years: automated deep learning (AutoDL). This endeavor seeks to minimize the need for human involvement and is best known for its achievements in neural architecture search (NAS), a topic that has been the focus of several surveys. That stated, NAS is not the be-all and end-all of AutoDL. Accordingly, this review adopts an overarching perspective, examining research efforts into automation across the entirety of an archetypal DL workflow. In so doing, this work also proposes a comprehensive set of ten criteria by which to assess existing work in both individual publications and broader research areas. These criteria are: novelty, solution quality, efficiency, stability, interpretability, reproducibility, engineering quality, scalability, generalizability, and eco-friendliness. Thus, ultimately, this review provides an evaluative overview of AutoDL in the early 2020s, identifying where future opportunities for progress may exist.

研究の動機と目的

• ニューラルアーキテクチャサーチ（NAS）に限定された狭い視点を越え、ディープラーニングライフサイクル全体における自動化を検討すること。
• 自動データエンジニアリング、デプロイメント、モデルメンテナンスなどの分野における現在のAutoDL研究の主なギャップを特定すること。
• 10の基準（新規性、ソリューションの質、効率性、安定性、解釈可能性、再現性、エンジニアリング品質、スケーラビリティ、一般化可能性、エコフレンドリーネス）を用いた標準化された評価フレームワークを提案し、AutoDL研究における厳密さ、再現性、影響力の向上を図ること。
• 短期的なパフォーマンス向上に偏るのではなく、使いやすさ、自律性、長期的持続可能性を優先するよう研究コミュニティに提言すること。
• 人間的要因やシステム的バイアスを是正することで、より包括的かつ持続可能な形でのAutoDLの進化を促進すること。

提案手法

• 問題定義、データエンジニアリング、モデル開発、ハイパーパramータ最適化、デプロイメント、メンテナンスを含む、ディープラーニングワークフロー全般にわたるAutoDL研究の体系的レビューを実施する。
• AutoDL手法を評価するための包括的な10基準（新規性、ソリューションの質、効率性、安定性、解釈可能性、再現性、エンジニアリング品質、スケーラビリティ、一般化可能性、エコフレンドリーネス）を提唱する。
• 主要なAutoDLサブフィールドにおける既存アプローチを分類する：NAS（ブラックボックス、グレイボックス、ホワイトボックス）、ハイパーパramータ最適化（HPO）、自動データエンジニアリング、ハードウェアサーチ、デプロイメント対応自動化、およびモデルメンテナンス（例：継続的学習）。
• 各サブフィールドの成熟度と研究密度を分析し、自動データエンジニアリングや恒久的モデル適応といった未開拓分野を特定する。
• 提案された基準を用いて既存研究を評価・批判し、透明性、再現性、長期的持続可能性の重要性を強調する。
• 現実の制約や長期的システムの妥当性を考慮した、より広範かつ責任ある自動化への研究文化の転換を提唱する。

Figure 1 . Schematic of an end-to-end DL workflow, i.e., the processes involved in applying DL to a problem. Traditionally, human decisions are required for every part of this workflow, such as analyzing a problem context, defining an ML task, designing a model, manually tuning hyperparameters, sele

実験結果

リサーチクエスチョン

• RQ1 自動化ディープラーニング（AutoDL）研究において、ニューラルアーキテクチャサーチ（NAS）に限定することの主な制限は何ですか？
• RQ2 ベンチマーク上のモデル精度やパフォーマンス以外の観点から、AutoDL研究の質とインパクトをどのように客観的に評価できますか？
• RQ3 ディープラーニングライフサイクルのどの段階がAutoDLにおいて未だに十分に研究されておらず、その理由は何か？
• RQ4 現在のAutoDL手法は、パフォーマンス以外の観点——特に効率性、再現性、持続可能性——をどの程度重視していますか？
• RQ5 研究コミュニティは、AutoDL開発と評価において、より包括的かつ責任あるアプローチをどのように採用できますか？

主な発見

• ニューラルアーキテクチャサーチ（NAS）は影響力があるが、自動化ディープラーニング（AutoDL）の最終目的ではない。NASへの過剰な依存は、より広範な進歩を制限する。
• 自動データエンジニアリング、ハードウェアサーチ、モデルメンテナンスといった多くのAutoDLサブフィールドは、実世界のデプロイメントにおいて極めて重要な役割を果たしているにもかかわらず、未だに研究が不足している。
• 解釈可能性、再現性、エコフレンドリーネスなどを含む、提案された10の評価基準は、パフォーマンス指標を超えたAutoDL研究の評価に強固なフレームワークを提供する。
• ホワイトボックスハイパーパramータ最適化（HPO）は高い効率性のポテンシャルを示しているが、再現性に関する厳密な研究が不足しており、長期的な有効性に懸念が生じる。
• デプロイメント対応AutoDLは、ハードウェアの非標準化のため、ハードウェアサーチよりも進んでいるが、両者とも実世界でのスケーラビリティにとって不可欠である。
• 人間的要因——短期的焦点、再現性の欠如、持続可能性やエンジニアリング品質の軽視——がAutoDL分野を妨げており、エンドツーエンド自動化を阻害している。

Figure 2 . Breakdown schematic for research activity in AutoDL, with surveyed publications attributed to different phases of a DL workflow and then further subcategorized. The pie chart denotes the ratio of publications across all workflow phases, while the white stacked bars denote ratios within ea