[논문 리뷰] Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks

Loris Nanni, Gianluca Maguolo외 1명|arXiv (Cornell University)|2021. 03. 26.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 현재 및 과거 기울기 간의 차이를 기반으로 학습률을 적응적으로 조정하는 Adam 유사 최적화 알고리즘을 제안하고 평가한다. 이는 합성곱 신경망에서 성능을 향상시킨다. 의료 영상 데이터셋에서 ResNet50을 사용하여, 간단한 합산 융합 방식을 사용한 앙상블 설정에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Stochastic gradient descent (SGD) is the main approach for training deep networks: it moves towards the optimum of the cost function by iteratively updating the parameters of a model in the direction of the gradient of the loss evaluated on a minibatch. Several variants of SGD have been proposed to make adaptive step sizes for each parameter (adaptive gradient) and take into account the previous updates (momentum). Among several alternative of SGD the most popular are AdaGrad, AdaDelta, RMSProp and Adam which scale coordinates of the gradient by square roots of some form of averaging of the squared coordinates in the past gradients and automatically adjust the learning rate on a parameter basis. In this work, we compare Adam based variants based on the difference between the present and the past gradients, the step size is adjusted for each parameter. We run several tests benchmarking proposed methods using medical image data. The experiments are performed using ResNet50 architecture neural network. Moreover, we have tested ensemble of networks and the fusion with ResNet50 trained with stochastic gradient descent. To combine the set of ResNet50 the simple sum rule has been applied. Proposed ensemble obtains very high performance, it obtains accuracy comparable or better than actual state of the art. To improve reproducibility and research efficiency the MATLAB source code used for this research is available at GitHub: https://github.com/LorisNanni.

연구 동기 및 목표

• 기울기의 차이를 활용하는 Adam 유사 최적화 알고리즘이 CNN 성능을 향상시킬 수 있는지 조사하기.
• ResNet50를 사용하여 의료 영상 분류 작업에서 이러한 적응형 최적화기의 성능을 벤치마킹하기.
• Adam 기반 및 SGD로 훈련된 ResNet50 모델을 조합한 모델 앙상블의 효과성을 평가하기.
• 실험에 대한 MATLAB 소스 코드를 공개하여 재현 가능성 향상하기.

제안 방법

• 현재 기울기와 과거 기울기 간의 차이를 기반으로 스텝 크기를 조정하는 Adam 유사 최적화 변종을 제안한다.
• 기울기 제곱의 이동 평균을 사용하여 각 파라미터별로 적응형 학습률을 적용하며, Adam과 유사하지만 기울기 차이 감도가 향상된 방식을 사용한다.
• 의료 영상 데이터셋에서 제안된 최적화기를 사용하여 ResNet50 모델을 훈련한다.
• 다양한 최적화기(Adam 기반 및 SGD)로 훈련된 여러 ResNet50 모델의 예측을 융합하여 모델 앙상블을 구성한다.
• 앙상블 구성원 간의 예측 융합에 간단한 합산 규칙을 적용한다.
• 재현 가능성과 연구 효율성을 보장하기 위해 MATLAB 소스 코드를 공개한다.

실험 결과

연구 질문

• RQ1 기울기의 차이를 통합하는 Adam 유사 최적화 알고리즘이 의료 영상 데이터에서 CNN 성능을 향상시킬 수 있는가?
• RQ2 정확도 및 수렴 성능 측면에서 Adam 기반 최적화기와 표준 SGD 및 기타 적응형 최적화기 간의 성능 비교는 어떻게 되는가?
• RQ3 다른 최적화기(Adam 기반 및 SGD)로 훈련된 모델을 조합한 앙상블 학습이 성능 향상에 기여하는가?
• RQ4 기존 최신 기술 수준의 접근 방식에 비해 제안된 방법이 의료 영상 벤치마크에서 얼마나 뛰어난가?
• RQ5 다양한 모델의 예측을 융합하는 데 간단한 합산 규칙이 얼마나 효과적인가?

주요 결과

• 제안된 Adam 유사 최적화 알고리즘이 의료 영상 분류 작업에서 현재 최신 기술 수준과 비교해 유사하거나 더 높은 정확도를 달성한다.
• Adam 기반 및 SGD로 훈련된 ResNet50 네트워크를 조합한 앙상블 모델은 개별 모델보다 성능 향상이著명하다.
• 다양한 모델의 예측을 융합하는 데 간단한 합산 규칙이 효과적으로 작용하여 전체 정확도를 향상시킨다.
• 적응형 학습률 스케줄링에 기울기의 차이를 활용함으로써 더 안정적이고 효과적인 최적화가 가능해진다.
• 공개된 MATLAB 코드는 완전한 재현 가능성을 보장하며, 딥 러닝 최적화 분야의 향후 연구를 지원한다.
• 이 방법은 의료 영상 데이터에서 강력한 일반화 성능을 보이며, 도메인 특화 과제에 대한 강건성을 시사한다.