[論文レビュー] Survey on Evolutionary Deep Learning: Principles, Algorithms, Applications and Open Issues

Nan Li, Lianbo Ma+4 more|arXiv (Cornell University)|Aug 23, 2022

Evolutionary Algorithms and Applications被引用数 4

ひとこと要約

本調査は、深層学習パイプライン（特徴工学、モデル生成、デプロイメントを含む）の最適化に進化的計算（EC）を統合する自動機械学習（AutoML）フレームワークとしての進化的深層学習（EDL）の包括的分析を提示する。EDLのための新しい分類法を提唱し、解決策の表現方法と探索パラダイムを詳細に記述するとともに、主な課題と今後の研究方向性を特定する。

ABSTRACT

Over recent years, there has been a rapid development of deep learning (DL) in both industry and academia fields. However, finding the optimal hyperparameters of a DL model often needs high computational cost and human expertise. To mitigate the above issue, evolutionary computation (EC) as a powerful heuristic search approach has shown significant merits in the automated design of DL models, so-called evolutionary deep learning (EDL). This paper aims to analyze EDL from the perspective of automated machine learning (AutoML). Specifically, we firstly illuminate EDL from machine learning and EC and regard EDL as an optimization problem. According to the DL pipeline, we systematically introduce EDL methods ranging from feature engineering, model generation, to model deployment with a new taxonomy (i.e., what and how to evolve/optimize), and focus on the discussions of solution representation and search paradigm in handling the optimization problem by EC. Finally, key applications, open issues and potentially promising lines of future research are suggested. This survey has reviewed recent developments of EDL and offers insightful guidelines for the development of EDL.

研究の動機と目的

• 深層学習におけるハイパーパramーターやアーキテクチャのチューニングにかかる高い計算コストと専門知識依存性を解消するための進化的深層学習（EDL）の体系的レビューを提供すること。
• 深層学習パイプライン内の「何を」「どこで」「どのように」進化・最適化するかを基準に、EDLの新しい分類法を確立すること。
• 特徴工学、モデル生成、モデルデプロイメントの各段階において、ECに基づくEDLにおける解決策の表現方法と探索パラダイムを分析すること。
• 公平なベンチマーク、解釈可能性、スケーラビリティといったEDLにおける主な課題を特定し、今後の研究方向性を提案すること。

提案手法

• 本論文は、EDLを複雑な最適化問題として定式化し、最適な深層学習構成の自動探索に進化的計算（EC）を活用する。
• 本論文は、進化対象（例：特徴、アーキテクチャ、ハイパーパramーター）とDLパイプラインの段階に基づいてEDL手法を分類する、新しい分類法を導入する。
• 本調査は、ECを用いたEDLで用いられるさまざまな解決策の表現方法（例：ゲノタイプからフェノタイプへのマッピング）と探索パラダイム（例：多目的最適化、ステディステート、局所探索を組み合わせたステディステート）を分析する。
• ECベースの手法と非EC手法（例：強化学習、勾配ベース）を、ベンチマーク上でのロバストネス、探索能力、パフォーマンスの観点から比較する。
• 本論文は、画像認識、自然言語処理、医療診断の分野におけるEDLの実世界応用を評価し、パフォーマンスの向上と限界を強調する。
• 標準化されたベンチマークの欠如、解釈性の低さ、ノイズが多いまたは小規模なデータセットの処理における課題といった未解決の問題を特定し、議論する。

Figure 1 . An overview of DL, driven by domain knowledge or evolutionary computation, where the life of DL gets through problem, data collection, feature engineering, model generation and model deployment.

実験結果

リサーチクエスチョン

• RQ1 特徴工学、モデル生成、デプロイメントの各段階において、進化的計算をどのように体系的に適用して深層学習パイプラインの自動化を実現できるか？
• RQ2 DLパイプラインの異なる段階において、ECベースのEDLに最も効果的な解決策の表現方法と探索パラダイムは何か？
• RQ3 強化学習や勾配ベースの代替手法（非EC手法）と比較して、ECベースのEDL手法はパフォーマンス、ロバストネス、効率性の観点でどのように異なるか？
• RQ4 実世界応用におけるEDL手法の公平なベンチマーク、解釈可能性、スケーラビリティの主な課題は何か？
• RQ5 エンドツーエンドでスケーラブルかつ解釈可能な進化的深層学習を進歩させるために、最も有望な今後の研究方向性は何か？

主な発見

• EDL手法は、ハイパーパramーターとアーキテクチャの探索において、CIFAR-10 や ImageNet といった標準ベンチマークで、手動設計や一部の非EC手法を上回る競争力のあるパフォーマンスとロバストネスを示している。
• 均一なベンチマークや評価基準の欠如により、EDL手法間での不公平な比較が生じており、特にNASやモデル圧縮分野で顕著である。ここでは、正則化技術（例：cutout、ScheduledDropPath）の違いが性能に顕著に影響を与える。
• 解釈性は依然として大きな課題であり、ECベースのEDLはほとんどがブラックボックスプロセスであり、特定の特徴やアーキテクチャがなぜ選ばれるのか、理論的根拠に乏しい。
• EDLは画像関連タスクでは優れた性能を発揮するが、GPT-2 や Transformer-XL といった人間が設計したモデルに比べて自然言語処理分野では性能に差が生じており、NLP応用におけるギャップが顕在化している。
• 現在のEDLフレームワークは、ラベルノイズ、データの不均衡、小規模データセットといった実世界のデータ課題に対応できていない。これには自己教師あり学習や教師なし学習の技術統合が求められる。
• すべてのパイプラインコンponentを同時に最適化するエンドツーエンドEDLは依然として大きな課題であるが、AutoMLにおける完全自動化のための有望な今後の方向性とされている。

Figure 2 . Total publications and citations referring to EC & DL by years from Web of Science until July 2022.