[論文レビュー] Neuroevolution in Deep Neural Networks: Current Trends and Future Challenges

Edgar Galván, Peter Mooney|arXiv (Cornell University)|Jun 9, 2020

Evolutionary Algorithms and Applications参考文献 170被引用数 172

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）におけるニューロエボリューションの包括的サーベイを提示し、自動アーキテクチャ探索および学習のための進化アルゴリズム（EAs）を評価している。主なトレンド、課題、今後の研究方向性を特定し、強化学習に代わる計算的に効率的な代替手法としてのEAsの可能性を強調している。実世界の応用においてDNNの性能向上と自動化の両面で大きな潜在能力を有している。

ABSTRACT

A variety of methods have been applied to the architectural configuration and learning or training of artificial deep neural networks (DNN). These methods play a crucial role in the success or failure of the DNN for most problems and applications. Evolutionary Algorithms (EAs) are gaining momentum as a computationally feasible method for the automated optimisation and training of DNNs. Neuroevolution is a term which describes these processes of automated configuration and training of DNNs using EAs. While many works exist in the literature, no comprehensive surveys currently exist focusing exclusively on the strengths and limitations of using neuroevolution approaches in DNNs. Prolonged absence of such surveys can lead to a disjointed and fragmented field preventing DNNs researchers potentially adopting neuroevolutionary methods in their own research, resulting in lost opportunities for improving performance and wider application within real-world deep learning problems. This paper presents a comprehensive survey, discussion and evaluation of the state-of-the-art works on using EAs for architectural configuration and training of DNNs. Based on this survey, the paper highlights the most pertinent current issues and challenges in neuroevolution and identifies multiple promising future research directions.

研究の動機と目的

• 神経的進化研究の断片的な状態を是正するため、深層ニューラルネットワーク（DNN）のアーキテクチャ設定および学習に特化した、統一的かつ包括的なサーベイを提供すること。
• EAベースのニューロエボリューションの強み、限界、現在の課題を特定・分析し、特に強化学習や他のハイパーパramータ最適化手法と比較しての性能を検討すること。
• ニューロエボリューションの計算的利点、例えば強化学習に比べて学習時間を短縮できる点を強調し、実世界の深層学習応用への広範な採用可能性を示すこと。
• 公平な比較と分野の進展を可能にするために、神経的進化分野における標準化されたベンチマークと再現可能性のある研究を推進すること。
• 今後の研究分野として、改善された遺伝的演算子、標準化された評価プロトコル、画像分類を越えた新しい応用分野への展開を特定すること。

提案手法

• arXiv、IEEE Xplore、ACM、Google Scholarなど複数のデータベースを対象とした広範な文献レビューを実施し、EAベースのDNNアーキテクチャ探索および学習分野における最先端研究を同定・分析した。
• 表現（例：重みベース、アーキテクチャベース）、進化パラダイム（例：遺伝的アルゴリズム、エボリューション戦略、拡張トポロジーのニューロエボリューション）、学習戦略に基づいてEAベースの手法を分類・評価した。
• ニューロエボリューションに用いられる主なディープラーニングアーキテクチャ（例：畳み込みニューラルネットワーク（CNNs）、オートエンコーダー（AEs）、ディープベルーフネットワーク（DBNs）、制限ボルツマンマシン（RBMs）、再帰的ニューラルネットワーク（RNNs））をレビュー・比較した。
• 選択、突然変異、交叉といった異なるEAの要素が、DNNにおけるニューロエボリューションの性能と収束性に与える影響を分析し、適切に設計された遺伝的演算子の重要性を強調した。
• MNIST、CIFAR-10、ILSVRC2012などの一般的に使用されるベンチマークデータセットを評価し、再現可能性と標準化の観点から検討した。
• オープンかつ公開可能なデータセットの重要性を議論し、特許権や非標準化されたデータが研究間の比較を困難にしている課題を指摘した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおけるアーキテクチャ探索および学習に用いられる進化アルゴリズムの現在のトレンドと支配的アプローチは何か？
• RQ2 EAベースのニューロエボリューション手法は、DNNアーキテクチャ探索において強化学習ベースの手法と比較して、性能と計算効率の点でどのように異なるか？
• RQ3 ニューロエボリューションをDNNに適用するにあたり、表現、スケーラビリティ、再現可能性の観点から、主な課題と限界は何か？
• RQ4 なぜ神経的進化研究において標準化されたベンチマークが不足しているのか？その結果、研究の進展と公平な比較がどのように妨げられているのか？
• RQ5 画像分類を越えた分野に拡張するにあたり、深層学習におけるニューロエボリューションを前進させるために、最も有望な今後の研究分野は何か？

主な発見

• EAを用いたニューロエボリューションは、DNNアーキテクチャ探索および学習において競争力のある性能を示しており、強化学習手法に比べて計算時間も短く抑えられる傾向にある。
• 進化アルゴリズムは、DNNのハイパーパramータおよびアーキテクチャ最適化に一般的に見られる複雑で非線形的かつ不連続な探索空間に対しても特に効果的である。
• 関心が高まる一方で、分野全体として標準化されたベンチマークプロトコルや公開可能なデータセットが不足しており、研究間での比較が一貫せず、再現性が低下している。
• 本研究では、特定のEA要因（例：表現、演算子、学習タイプ）が性能に与える影響を明確に分離できる標準化された科学的研究の実施が、極めて重要であると指摘した。
• MNIST、CIFAR-10、ILSVRC2012といった一般的に使用されるデータセットは神経的進化研究で広く採用されているが、その範囲が限定的であるため、主にビジョン中心のタスクに限定された評価にとどまっている。
• 今後の研究では、画像分類を超えた分野に特化したベンチマークの開発と、公平かつ再現可能な神経的進化手法の評価を可能にするオープンで共有可能なデータセットの構築を優先すべきである。