[論文レビュー] BGADAM: Boosting based Genetic-Evolutionary ADAM for Convolutional Neural Network Optimization.

Jiyang Bai, Jiawei Zhang|arXiv (Cornell University)|Jul 26, 2019

Advanced Neural Network Applications参考文献 14被引用数 5

ひとこと要約

本論文では、ユニットモデル学習にブースティングを統合することで、非凸な深層学習問題における局所最適解からの脱出を向上させる、BGADAMと呼ばれる新しい最適化アルゴリズムを提案する。適応的学習率、モーメンタム、遺伝的進化、およびブースティングを組み合わせることで、BGADAMは畳み込みニューラルネットワークにおいて、より速い収束と向上した一般化性能を達成する。

ABSTRACT

Among various optimization algorithms, ADAM can achieve outstanding performance and has been widely used in model learning. ADAM has the advantages of fast convergence with both momentum and adaptive learning rate. For deep neural network learning problems, since their objective functions are nonconvex, ADAM can also get stuck in local optima easily. To resolve such a problem, the genetic evolutionary ADAM (GADAM) algorithm, which combines the ADAM and genetic algorithm, was introduced in recent years. To further maximize the advantages of the GADAM model, we propose to implement the boosting strategy for unit model training in GADAM. In this paper, we introduce a novel optimization algorithm, namely Boosting based GADAM (BGADAM). We will show that after adding the boosting strategy to the GADAM model, it can help unit models jump out the local optima and converge to better solutions.

研究の動機と目的

• 非凸な深層学習最適化におけるADAMの局所最適解に閉じ込められることの限界を解消すること。
• ユニットモデル学習と解の品質を向上させるためのブースティング戦略を導入することで、GADAMを改善すること。
• 適応的学習率、モーメンタム、遺伝的進化、およびアンサンブル学習を統合したハイブリッド最適化フレームワークを開発すること。
• ブースティングを活用して個々のモデルを精緻化することで、畳み込みニューラルネットワークにおけるより深いかつより強固な収束を実現すること。

提案手法

• GADAMフレームワークにブースティングを統合し、反復的に個々のモデルを学習・精緻化することで、局所最適解からの脱出能力を向上させる。
• 遺伝的アルゴリズムの原則を応用し、GADAM部のハイパーパrameterを進化させるとともに、モデル重みを更新することで、多様性と適応性を確保する。
• ADAM由来の適応的学習率とモーメンタムを、探索と活用のバランスを取るために進化的探索と組み合わせる。
• 複数のユニットモデルからの予測をアンサンブル学習によるブースティングで集約し、全体の最適化安定性と性能を向上させる。
• 各ブースティング段階で、誤差重み付きの訓練サンプルを用いて困難な例に焦点を当ててモデルを精緻化する訓練パイプラインを設計する。
• 選択、交差、突然変異を経て進化する候補モデルの集合を維持し、損失低減に基づくフィットネス評価によって指導する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングは、非凸最適化領域におけるGADAMの局所最適解からの脱出能力を向上させることができるか？
• RQ2 ブースティングの統合は、CNN学習における収束速度と最終的なモデル精度にどのような影響を与えるか？
• RQ3 ハイブリッドBGADAMフレームワークは、標準ADAMおよびGADAMと比較して、一般化性能とロバストネスの面でどの程度優れているか？
• RQ4 ブースティングのアンサンブル的性質は、深層学習最適化における解の安定性と多様性を向上させるか？

主な発見

• BGADAMは、GADAM や ADAM よりもユニットモデルが局所最適解からより効果的に脱出できるようにすることで、改善された収束行動を示した。
• ブースティングの統合により、GADAMフレームワーク内での個々のモデルの多様性と性能が向上した。
• BGADAMは、ベースラインのADAMと比較して、畳み込みニューラルネットワーク学習においてより速い収束とより優れた一般化性能を達成した。
• 提案手法は、ADAMの適応的学習率とモーメンタムの利点を維持するとともに、進化的およびアンサンブル学習の利点を追加した。