[論文レビュー] Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks

Loris Nanni, Gianluca Maguolo+1 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、現在の勾配と過去の勾配の差に応じて学習率を段階的に調整するAdamに類似した最適化アルゴリズムを提案し、その有効性を検証する。医用画像データセット上でResNet50を用いた実験により、特に単純な和集合融合を用いたアンサンブル設定において、最先端の精度を達成した。

ABSTRACT

Stochastic gradient descent (SGD) is the main approach for training deep networks: it moves towards the optimum of the cost function by iteratively updating the parameters of a model in the direction of the gradient of the loss evaluated on a minibatch. Several variants of SGD have been proposed to make adaptive step sizes for each parameter (adaptive gradient) and take into account the previous updates (momentum). Among several alternative of SGD the most popular are AdaGrad, AdaDelta, RMSProp and Adam which scale coordinates of the gradient by square roots of some form of averaging of the squared coordinates in the past gradients and automatically adjust the learning rate on a parameter basis. In this work, we compare Adam based variants based on the difference between the present and the past gradients, the step size is adjusted for each parameter. We run several tests benchmarking proposed methods using medical image data. The experiments are performed using ResNet50 architecture neural network. Moreover, we have tested ensemble of networks and the fusion with ResNet50 trained with stochastic gradient descent. To combine the set of ResNet50 the simple sum rule has been applied. Proposed ensemble obtains very high performance, it obtains accuracy comparable or better than actual state of the art. To improve reproducibility and research efficiency the MATLAB source code used for this research is available at GitHub: https://github.com/LorisNanni.

研究の動機と目的

• 勾配の差を活用するAdamに類似した最適化アルゴリズムが、CNNの性能を向上させることを検証すること。
• ResNet50を用いて、医用画像分類タスクにおけるこれらの適応的最適化手法のベンチマークを実施すること。
• AdamベースとSGDで訓練されたResNet50モデルを組み合わせたモデルアンサンブルの有効性を評価すること。
• 実験の再現性を向上させるために、MATLABソースコードを公開すること。

提案手法

• 現在の勾配と過去の勾配の差に応じてステップサイズを調整するAdamに類似した最適化バージョンを提案する。
• 移動平均を用いたパラメータごとの適応的学習率を採用し、Adamと同様の仕組みだが、勾配差に対する感受性を強化した。
• 提案された最適化手法を用いて、医用画像データセット上でResNet50モデルを訓練する。
• 異なる最適化手法（AdamベースとSGD）で訓練された複数のResNet50モデルの予測を統合することで、モデルアンサンブルを構築する。
• アンサンブルメンバー間の予測統合に単純な和集合ルールを適用する。
• 再現性を確保し、研究効率を向上させるために、MATLABソースコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 勾配差を組み込んだAdamに類似した最適化アルゴリズムは、医用画像データにおけるCNNの性能を向上させることができるか？
• RQ2 Adamベースの最適化手法は、標準的なSGDや他の適応的最適化手法と比較して、精度および収束性において優れているか？
• RQ3 異なる最適化手法（AdamベースとSGD）で訓練されたモデルを組み合わせたアンサンブル学習は、性能向上に寄与するか？
• RQ4 提案手法は、既存の最先端手法と比較して、医用画像ベンチマークでどの程度優れているか？
• RQ5 多様なモデルの予測を統合する単純な和集合ルールは、アンサンブル内での予測統合にどの程度有効か？

主な発見

• 提案されたAdamに類似した最適化アルゴリズムは、医用画像分類タスクにおいて、現在の最先端技術と同等またはそれ以上の精度を達成した。
• AdamベースとSGDで訓練されたResNet50ネットワークを組み合わせたアンサンブルモデルは、個々のモデルよりも顕著に性能が向上した。
• 多様なモデルからの予測を統合する単純な和集合ルールは、全体の精度を向上させるために効果的に機能した。
• 適応的学習率スケジューリングに勾配差を活用することで、より安定的かつ効果的な最適化が実現した。
• 公開されたMATLABコードにより、完全な再現性が確保され、深層学習における最適化分野の今後の研究を支援した。
• 本手法は医用画像データに対して優れた一般化性能を示し、ドメイン固有の課題に対しても頑健であることが示唆された。