[論文レビュー] Evolutionary Neural AutoML for Deep Learning

Jason Liang, Elliot Meyerson+4 more|arXiv (Cornell University)|Feb 18, 2019

Machine Learning and Data Classification参考文献 39被引用数 10

ひとこと要約

本論文では、分散型進化的アルゴリズムを用いて深層ニューラルネットワークのアーキテクチャ、ハイパーパrameter、モデルサイズを統合最適化する、進化的AutoMLフレームワークLEAFを紹介する。LEAFは、医療画像分類およびNLPタスクにおいて最先端の性能を達成し、アーキテクチャ探索が精度を顕著に向上させ、最小限の性能損失でコンパクトで高性能なモデルを実現できることを示している。

ABSTRACT

Deep neural networks (DNNs) have produced state-of-the-art results in many benchmarks and problem domains. However, the success of DNNs depends on the proper configuration of its architecture and hyperparameters. Such a configuration is difficult and as a result, DNNs are often not used to their full potential. In addition, DNNs in commercial applications often need to satisfy real-world design constraints such as size or number of parameters. To make configuration easier, automatic machine learning (AutoML) systems for deep learning have been developed, focusing mostly on optimization of hyperparameters. This paper takes AutoML a step further. It introduces an evolutionary AutoML framework called LEAF that not only optimizes hyperparameters but also network architectures and the size of the network. LEAF makes use of both state-of-the-art evolutionary algorithms (EAs) and distributed computing frameworks. Experimental results on medical image classification and natural language analysis show that the framework can be used to achieve state-of-the-art performance. In particular, LEAF demonstrates that architecture optimization provides a significant boost over hyperparameter optimization, and that networks can be minimized at the same time with little drop in performance. LEAF therefore forms a foundation for democratizing and improving AI, as well as making AI practical in future applications.

研究の動機と目的

• 最適なパフォーマンスと効率性を達成するための深層ニューラルネットワーク（DNN）の手動設定の課題に対処すること。
• ドメインの専門知識を必要とせず、DNNアーキテクチャ、ハイパーパrameter、モデルサイズを自動でエンドツーエンド最適化すること。
• パラメータ数や推論速度といった実世界のデプロイ制約を考慮した、多目的最適化をサポートするスケーラブルで分散型のシステムを構築すること。
• 非専門家が自動探索を通じて高パフォーマンスでコンパクトなDNNを発見できるように、AIの民主化を図ること。
• 進化的アルゴリズムが、手作業で設計されたモデルを上回る新しい効率的アーキテクチャを発見する有効性を調査すること。

提案手法

• LEAFは、CoDeepNEATに基づく多段階的進化フレームワークを採用し、モジュラー構成と遺伝的操作を通じてニューラルネットワークアーキテクチャを進化させる。
• モジュールレベルの進化（例：畳み込みブロック）とブループrintレベルの進化（例：全体のトポロジー）のための別々の集団を用いることで、階層的探索を可能にする。
• 多目的最適化をサポートし、同時に精度の最大化とモデル複雑度（例：パラメータ数）の最小化を実現する。
• ノードおよび接続の追加／削除が進化的操作として含まれ、構造的変更の確率を設定可能にしている。
• 複数のワーカーを活用して分散コンピューティングを活用し、より長いトレーニング実行と良好な収束を実現する。
• パラメータ数と精度のバランスを保つ多様で高品質な解を維持するために、パレートフロントを用いる。

実験結果

リサーチクエスチョン

• RQ1 進化的AutoMLシステムは、ニューラルネットワークアーキテクチャ、ハイパーパrameter、モデルサイズを統合最適化することで、優れた性能を達成できるか？
• RQ2 アーキテクチャ最適化とハイパーパrameterのみの最適化を比較した場合、最終的なモデルの精度と効率性にどのような差が生じるか？
• RQ3 進化的探索は、リソース制限のある環境に適したコンパクトで高性能なモデルをどれほど効果的に発見できるか？
• RQ4 進化的探索によるモデル複雑度の最小化は、一般化性能の向上をもたらすのか？ もしもそうであるなら、その理由は何か？
• RQ5 計算リソースの増加に伴い、フレームワークは効果的にスケーリングされ、時間の経過とともにより良い結果を生み出せるか？

主な発見

• LEAFは、医療画像分類および自然言語処理タスクの両方で、既存のAutoMLシステムおよび手作業で設計されたモデルを上回る最先端の性能を達成した。
• アーキテクチャ最適化は、ハイパーパrameter最適化のみに比べて顕著に大きな性能向上をもたらし、構造的探索の重要性を浮き彫りにした。
• 多目的LEAFは、単目的の対応するモデルを上回る精度とパラメータ数の両方を達成し、世代ごとの平均フィットネスも高かった。
• 進化的プロセスは、広範なモジュール再利用を生み出し、これが正則化効果と一般化性能の向上を説明する要因となっている可能性がある。
• LEAFは、計算リソースの増加に伴い、より長いトレーニング実行がより良い結果をもたらすことを示し、リソースに対する強いスケーラビリティを示した。
• フレームワークは、性能損失を最小限に抑えながらモデルサイズを効果的に縮小したため、スマートフォンなどのエッジデバイスへのデプロイに実用的であることが示された。