[論文レビュー] GADAM: Genetic-Evolutionary ADAM for Deep Neural Network Optimization

Jiawei Zhang, Fisher B. Gouza|arXiv (Cornell University)|May 19, 2018

Advanced Neural Network Applications参考文献 31被引用数 25

ひとこと要約

GADAMは、深層ニューラルネットワークの訓練をより効果的かつ効率的に行うために、Adamと遺伝的アルゴリズムを組み合わせた新しい最適化アルゴリズムを提案する。Adamを用いてモデルの集団を訓練し、選択と突然変異の遺伝的演算を用いて集団を進化させることで、局所最適解から脱出し、複数のベンチマークで高速な収束と優れた性能を達成する。

ABSTRACT

Deep neural network learning can be formulated as a non-convex optimization problem. Existing optimization algorithms, e.g., Adam, can learn the models fast, but may get stuck in local optima easily. In this paper, we introduce a novel optimization algorithm, namely GADAM (Genetic-Evolutionary Adam). GADAM learns deep neural network models based on a number of unit models generations by generations: it trains the unit models with Adam, and evolves them to the new generations with genetic algorithm. We will show that GADAM can effectively jump out of the local optima in the learning process to obtain better solutions, and prove that GADAM can also achieve a very fast convergence. Extensive experiments have been done on various benchmark datasets, and the learning results will demonstrate the effectiveness and efficiency of the GADAM algorithm.

研究の動機と目的

• 非凸な深層学習最適化において、Adamが局所最適解に閉じ込められることの制限を解消すること。
• Adamの高速収束性と遺伝的アルゴリズムのグローバルサーチ能力を活用し、最適化のロバスト性を向上させること。
• 集団ベースの進化的フレームワークにより、深層学習の訓練を効率的に並列および分散実行可能にすること。
• 多様なデータセットにおいて、Adamや他のベースライン最適化手法と比較して優れた性能と収束速度を示すこと。

提案手法

• 各世代において、Adam最適化アルゴリズムを用いてユニットモデルの集団を訓練する。
• 選択、交差、突然変異の遺伝的アルゴリズムオペレータを用いて、世代を超えた集団の進化を実現する。
• モデルの性能（例：検証精度）をフィットネス関数として用い、優れた性能を示すモデルを選択し、次世代への複製を促進する。
• 固定された集団サイズを維持し、遺伝的演算によって生成された子孫で、性能が低いモデルを順次置き換える。
• 世代内計算と世代間進化を分離することで、スタンドアロンおよび並列／分散実行を両立可能にする。
• 各モデルの訓練フェーズ内で、Adam由来の適応的学習率およびモーメンタム項を統合し、個々のモデルの高速収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 Adamと遺伝的アルゴリズムをハイブリッド化したアプローチが、深層ニューラルネットワークにおける最適化性能を向上させることができるか？
• RQ2 GADAMフレームワークは、非凸な損失関数の地形においてよく見られるAdamの局所最適解への閉じ込めを効果的に回避できるか？
• RQ3 多様なデータセットにおいて、GADAMの収束速度と最終的なモデル精度は、Adamや他のベースライン手法と比較してどの程度優れているか？
• RQ4 GADAMは並列および分散コンピューティング環境において、どの程度効率的にスケーリングできるか？
• RQ5 集団サイズが、GADAMにおけるモデル進化ダイナミクスおよび子モデルの採用率にどのような影響を与えるか？

主な発見

• LeNet-5を用いたMNISTデータセットでは、GADAMは99.40％のテスト精度を達成し、Adam（99.10％）や他のベースラインを上回った。
• ORL顔認識データセットでは、1人あたり9枚の画像を用いて、GADAMは100.00％の精度に達し、Adam（98.50％）とgcForest（97.50％）を上回った。
• LETTERデータセットでは、MLPを用いてGADAMは96.90％の精度を達成し、gcForest（97.40％）をわずかに下回ったが、SVMやkNNと比較して顕著に優れた性能を示した。
• 効率性分析において、GADAMのトレーニング時間はスレッド数（1〜10）の増加に伴い一貫して短縮され、優れた並列スケーラビリティを示した。
• 初期世代では子モデルの採用率が高く、効果的な探索が行われていたが、時間経過とともに優れた親モデルが支配的になり、採用率が低下した。
• 遺伝的アルゴリズムのグローバルサーチ機構のおかげで、GADAMはノイズの多いデータや滑らかでない損失関数に対してもロバストであることが示された。