[論文レビュー] Evolving Deep Neural Networks

Risto Miikkulainen, Jason Liang+9 more|arXiv (Cornell University)|Mar 1, 2017

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、深層ニューラルネットワークのトポロジー、コンponent、ハイパーパrameterを同時に最適化することで、高性能なアーキテクチャを自動で発見する、CoDeepNEATと呼ばれる進化的アルゴリズムを提案する。この手法は、画像認識および言語モデリングの分野で最先端の手作業で設計されたモデルと同等の性能を達成し、実世界のマガジンWebサイトにおいて自動画像キャプション生成を成功させた。

ABSTRACT

The success of deep learning depends on finding an architecture to fit the task. As deep learning has scaled up to more challenging tasks, the architectures have become difficult to design by hand. This paper proposes an automated method, CoDeepNEAT, for optimizing deep learning architectures through evolution. By extending existing neuroevolution methods to topology, components, and hyperparameters, this method achieves results comparable to best human designs in standard benchmarks in object recognition and language modeling. It also supports building a real-world application of automated image captioning on a magazine website. Given the anticipated increases in available computing power, evolution of deep networks is promising approach to constructing deep learning applications in the future.

研究の動機と目的

• 手作業で設計することが難しい、深層学習アーキテクチャの複雑さに対処すること。
• 深層ニューラルネットワークのトポロジー、コンponent、ハイパーパrameterを同時に最適化する自動化された手法を開発すること。
• 進化的最適化が、標準的なベンチマークで手作業で設計されたモデルと同等のアーキテクチャを生成できることを示すこと。
• 進化したモデルを実世界の応用、例えば自動画像キャプション生成などに実用的に展開できること。

提案手法

• NEAT神経進化アルゴリズムを拡張し、ネットワークトポロジー、コンponentタイプ（例：畳み込み層、LSTM）およびハイパーパrameterを同時に進化させる。
• バリデーションセットの直接精度ではなく、勾配降下法による学習性能に基づくフィットネス評価を採用する。
• 進化中にネットワークを訓練・評価することで選択を導く、マルチレベルの進化プロセスを採用する。
• アーキテクチャコンponentとその設定を含む、完全なDNNパイプラインのエンドツーエンド進化を可能にする。
• 進化中に数千のネットワークをスケーリングするための分散コンピューティングインfraを活用する。
• 進化ループ内に勾配ベースの訓練を統合することで、進化したアーキテクチャが訓練可能で効果的であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 進化的アルゴリズムは、深層ニューラルネットワークのトポロジー、コンponent、ハイパーパrameterを同時に最適化し、手作業で設計されたアーキテクチャと同等またはそれを上回る性能を達成できるか？
• RQ2 画像分類や言語モデリングといった標準ベンチマークにおいて、進化的アーキテクチャ探索はどの程度効果的か？
• RQ3 進化した深層ネットワークは、画像キャプションといった実世界の応用に成功裏に展開可能か？
• RQ4 計算スケールが、進化したアーキテクチャの性能にどの程度影響を与えるか？

主な発見

• 進化したモデルはMSCOCOデータセットでBLEU-4スコア29.1を達成し、手作業ベースラインの27.7を上回った。
• CIDErスコアでは88.0を記録し、ベースラインの85.5を上回り、キャプションの質が向上したことを示した。
• マガジンWebサイトでのマニュアル評価では、インパクトのある画像に対して3.0/4.0、全画像に対して2.0/4.0のスコアが得られ、実用的な妥当性が示された。
• アーキテクチャ選択において人間の干渉なしに、最先端の手作業設計モデルと同等のアーキテクチャを発見した。
• 評価中に部分的な訓練が行われるため、進化的最適化は速く学習するモデルに偏りがちであり、精度を超える多目的最適化の可能性を示唆している。
• 計算能力が向上すれば、この手法は人間が設計したモデルを上回ると予想され、深層学習のより広範な応用が可能になる。