[論文レビュー] Fast-DENSER++: Evolving Fully-Trained Deep Artificial Neural Networks

Filipe Assunção, Nuno Lourenço+2 more|arXiv (Cornell University)|May 8, 2019

Evolutionary Algorithms and Applications参考文献 19被引用数 6

ひとこと要約

Fast-DENSER++ は、進化的世代に応じて個体ごとの学習時間を動的に延長する、強化されたニューロエボリューションフレームワークであり、完全に訓練された深層ニューラルネットワークを進化の直後に即座にデプロイ可能にする。CIFAR-10 において 88.73% のテスト精度を達成し、F-DENSER（86.91%）を著しく上回り、進化後微調整の必要を排除する。

ABSTRACT

This paper proposes a new extension to Deep Evolutionary Network Structured Evolution (DENSER), called Fast-DENSER++ (F-DENSER++). The vast majority of NeuroEvolution methods that optimise Deep Artificial Neural Networks (DANNs) only evaluate the candidate solutions for a fixed amount of epochs; this makes it difficult to effectively assess the learning strategy, and requires the best generated network to be further trained after evolution. F-DENSER++ enables the training time of the candidate solutions to grow continuously as necessary, i.e., in the initial generations the candidate solutions are trained for shorter times, and as generations proceed it is expected that longer training cycles enable better performances. Consequently, the models discovered by F-DENSER++ are fully-trained DANNs, and are ready for deployment after evolution, without the need for further training. The results demonstrate the ability of F-DENSER++ to effectively generate fully-trained DANNs; by the end of evolution, whilst the average performance of the models generated by F-DENSER++ is of 88.73%, the performance of the models generated by the previous version of DENSER (Fast-DENSER) is 86.91% (statistically significant), which increases to 87.76% when allowed to train for longer.

研究の動機と目的

• 固定された学習時間による神経進化における制限を解消し、進化後微調整を必要としないようにする。
• 進化最適化直後に生産環境で利用可能な完全に訓練された深層ニューラルネットワーク（DANNs）を進化可能にする。
• 十分な学習期間を進化中に確保することで、進化した学習戦略の評価を改善する。
• 個体ごとの延長学習にもかかわらず、全体の計算オーバーヘッドを最小限に抑えることで高い効率を維持する。
• 進化後追加トレーニングなしで、標準的および拡張型トレーニングベースラインを上回るモデルを進化させることを実証する。

提案手法

• 進化的世代番号に応じて学習期間を増加させる動的学習時間スケジューリング機構を導入する。
• Fast-DENSER フレームワークを拡張し、後続の世代の個体に長い学習時間を割り当てる時間適応型評価戦略を実装する。
• 構文に基づくニューラルアーキテクチャ表現を用いて、設定可能な層、活性化関数、学習アルゴリズムを備えた全結合および畳み込みネットワークを符号化する。
• チューナブルなハイパーパrameter（例：学習率、モーメンタム）を備えた複数の最適化アルゴリズム（例：Adam、RMSProp、SGD）を進化表現内に統合する。
• 過学習を防ぎつつ、進化中の学習フェーズで収束を保証するための早期停止を適用する。
• 適合度を検証精度に基づいて評価することで、ネットワークトポロジーと学習戦略を同時に進化させる進化的計算を実施する。

実験結果

リサーチクエスチョン

• RQ1 神経進化フレームワークが、進化後微調整を必要とせず、個体ごとの学習時間を動的に割り当てることで最終モデル性能を向上させることができるか？
• RQ2 進化的世代に応じて学習期間を延長することで、固定期間学習に比べてより良い一般化性能が得られるか？
• RQ3 F-DENSER++ で進化した学習戦略は、同じモデルに適用した場合、標準トレーニングベースラインを上回ることができるか？
• RQ4 F-DENSER++ の性能向上は、F-DENSER や DENSER と比較して統計的に有意であるか？
• RQ5 F-DENSER++ の動的学習戦略により、進化後再トレーニングの必要性が低下し、同時にモデル精度を維持または向上させることができるか？

主な発見

• F-DENSER++ は CIFAR-10 で 88.73% のテスト精度を達成し、F-DENSER の 86.91% よりも顕著に優れていた（p = 0.03156）、効果量も大きい。
• F-DENSER ネットワークを収束まで再トレーニングした場合でも、平均テスト精度（87.76%）は F-DENSER++ の進化性能を下回った。
• F-DENSER++ の中央値性能は F-DENSER より約 1% 高く、対応する正しく分類されたテストインスタンスが約 100 個多くなった。
• F-DENSER++ は進化中に完全に訓練されたモデルを生成することで、神経進化パイプラインにおける主要なボトル neck を解消し、進化後トレーニングの必要性を低減した。
• 1 世代あたりの平均学習時間は 0.73 時間から 1.13 時間に増加したが、依然として DENSER の 10.83 時間/世代をはるかに下回っており、高い効率性を示した。
• 統計的分析により、F-DENSER++ の進化性能が F-DENSER のものよりも優れていることが確認され、p 値は 0.05 未満、効果量も大きいことが示された。