[论文解读] Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks

Loris Nanni, Gianluca Maguolo+1 more|arXiv (Cornell University)|Mar 26, 2021

Advanced Neural Network Applications被引用 7

一句话总结

本文提出并评估了一类类似Adam的优化算法，通过基于当前梯度与历史梯度之差自适应调整学习率，提升了卷积神经网络的性能。在医学图像数据集上使用ResNet50，该方法在模型集成设置（采用简单求和融合）下实现了最先进（SOTA）的准确率。

ABSTRACT

Stochastic gradient descent (SGD) is the main approach for training deep networks: it moves towards the optimum of the cost function by iteratively updating the parameters of a model in the direction of the gradient of the loss evaluated on a minibatch. Several variants of SGD have been proposed to make adaptive step sizes for each parameter (adaptive gradient) and take into account the previous updates (momentum). Among several alternative of SGD the most popular are AdaGrad, AdaDelta, RMSProp and Adam which scale coordinates of the gradient by square roots of some form of averaging of the squared coordinates in the past gradients and automatically adjust the learning rate on a parameter basis. In this work, we compare Adam based variants based on the difference between the present and the past gradients, the step size is adjusted for each parameter. We run several tests benchmarking proposed methods using medical image data. The experiments are performed using ResNet50 architecture neural network. Moreover, we have tested ensemble of networks and the fusion with ResNet50 trained with stochastic gradient descent. To combine the set of ResNet50 the simple sum rule has been applied. Proposed ensemble obtains very high performance, it obtains accuracy comparable or better than actual state of the art. To improve reproducibility and research efficiency the MATLAB source code used for this research is available at GitHub: https://github.com/LorisNanni.

研究动机与目标

• 探究利用梯度差的类似Adam的优化算法是否能够提升卷积神经网络的性能。
• 在医学图像分类任务中，使用ResNet50对这些自适应优化器进行基准测试。
• 评估结合基于Adam和SGD训练的ResNet50模型的模型集成方法的有效性。
• 通过发布MATLAB源代码，提升实验的可复现性。

提出的方法

• 提出了一类类似Adam的优化变体，根据当前梯度与历史梯度之差调整步长。
• 采用基于移动平均的平方梯度估计，实现每个参数的自适应学习率，类似于Adam，但增强了对梯度差的敏感度。
• 在医学图像数据集上，使用所提出的优化器训练ResNet50模型。
• 通过融合使用不同优化器（基于Adam和SGD）训练的多个ResNet50模型的预测结果，构建模型集成。
• 对集成成员的预测结果采用简单的求和规则进行融合。
• 发布MATLAB源代码，以确保可复现性并提升未来研究的效率。

实验结果

研究问题

• RQ1 是否能够通过引入梯度差的类似Adam的优化器来提升卷积神经网络在医学图像数据上的性能？
• RQ2 基于Adam的优化器与标准SGD及其他自适应优化器相比，在准确率和收敛性方面表现如何？
• RQ3 使用不同优化器（基于Adam和SGD）训练的模型进行集成学习，是否能带来性能提升？
• RQ4 所提方法在医学图像基准测试中，相较于现有最先进方法，优势程度如何？
• RQ5 简单的求和规则在融合集成中多样化模型的预测结果方面，效果如何？

主要发现

• 所提出的类似Adam的优化算法在医学图像分类任务上实现了与当前最先进方法相当或更优的准确率。
• 结合基于Adam和SGD训练的ResNet50网络的集成模型，显著优于单一模型。
• 简单的求和规则能有效融合多样化模型的预测结果，从而提升整体准确率。
• 在自适应学习率调度中引入梯度差，可带来更稳定且高效的优化过程。
• 发布的MATLAB代码实现了完全可复现性，支持未来在深度学习优化领域的研究。
• 该方法在医学图像数据上表现出强大的泛化能力，表明其对领域特定挑战具有鲁棒性。