[논문 리뷰] Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning

Yu Kobayashi, Hideaki Iiduka|arXiv (Cornell University)|2020. 02. 29.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 딥러닝에서 수렴성과 학습 효율성을 향상시키기 위해 비선형 공액 그래디언트 방법과 AMSGrad를 통합한 새로운 적응형 확률적 최적화 알고리즘인 공액그래디언트 기반 아담(Conjugate-gradient-based Adam, CoBA)을 제안한다. 실험 결과 CoBA는 텍스트 및 이미지 분류 작업에서 Adam, AMSGrad, RMSProp, AdaGrad보다 더 적은 에포크 수로 낮은 손실을 달성한다.

ABSTRACT

This paper proposes a conjugate-gradient-based Adam algorithm blending Adam with nonlinear conjugate gradient methods and shows its convergence analysis. Numerical experiments on text classification and image classification show that the proposed algorithm can train deep neural network models in fewer epochs than the existing adaptive stochastic optimization algorithms can.

연구 동기 및 목표

• 딥러닝의 확률적 최적화 문제에서 아담 및 그 변종이 최적 해로 수렴하는 데에 한계가 있음을 해결한다.
• 적응형 그래디언트 방법과 공액 그래디언트 기법을 융합하여 딥 네트워크의 학습 효율성과 수렴 속도를 향상시킨다.
• 적응형 학습률의 이점을 유지하면서도 검색 방향의 품질을 향상시키는 이론적으로 탄탄한 최적화 알고리즘을 개발한다.
• 실제 딥러닝 작업, 예를 들어 텍스트 및 이미지 분류와 같은 표준 벤치마크에서 제안된 방법의 우수한 성능을 입증한다.

제안 방법

• 표준 그래디언트 기반 업데이트를 대체하기 위해 비선형 공액 그래디언트(CG) 검색 방향을 AMSGrad 프레임워크에 통합한다.
• 과거 그래디언트를 통합하는 공액 그래디언트 공식(예: 폴라크-리비에르-폴라크)을 사용해 적응형 검색 방향을 계산한다.
• AMSGrad와 마찬가지로 그래디언트와 제곱 그래디언트의 지수 이동 평균을 유지하지만, 업데이트 방향을 CG 기반 벡터로 수정한다.
• 유한한 탇성 영역 내에서 수렴을 보장하기 위해 마할라노비스 노름 기반 투영 단계를 적용한다.
• 각 반복에서 목적 함수의 충분한 감소를 보장하기 위해 백트래킹을 사용한 선색색 전략을 적용한다.
• 이론적 분석 결과, CoBA는 표준 가정 하에 AMSGrad와 비교할 만한 수렴 속도를 확보한다.

실험 결과

연구 질문

• RQ1 공액 그래디언트 방향은 딥러닝에서 적응형 확률적 최적화 알고리즘의 수렴성과 일반화 성능을 향상시킬 수 있는가?
• RQ2 CG를 AMSGrad와 융합하면 아담 및 그 변종보다 더 빠른 수렴과 낮은 학습 손실을 달성할 수 있는가?
• RQ3 제안된 CoBA 알고리즘이 확률적 최적화 설정에서 최적 해로 수렴하는 것으로 이론적으로 보장되는가?
• RQ4 LSTM을 사용한 텍스트 분류 및 ResNet을 사용한 이미지 분류와 같은 표준 딥러닝 벤치마크에서 CoBA는 실제로 어떻게 성능을 내는가?
• RQ5 공액 그래디언트 메커니즘은 동일하거나 더 나은 모델 성능을 달성하기 위해 필요한 학습 에포크 수를 줄일 수 있는가?

주요 결과

• CoBA는 텍스트 및 이미지 분류 작업 모두에서 Adam, AMSGrad, RMSProp, AdaGrad보다 더 낮은 학습 손실을 달성한다.
• 기존의 적응형 방법보다 더 적은 에포크 수로 수렴하여 학습 효율성이 향상됨을 보여준다.
• 수치 실험 결과, 다양한 딥러닝 모델에서 기준 알고리즘 대비 손실 함수의 합을 더 효과적으로 감소시킴을 입증한다.
• 이론적 분석을 통해 CoBA는 AMSGrad와 비교할 만한 수렴 속도를 유지함을 확인하여 안정성과 강건성을 보장한다.
• 공액 그래디언트 방향의 통합은 더 나은 검색 방향 선택을 이끌어내어 메모리 오버헤드 증가 없이도 수렴 속도를 가속화한다.
• 실증 결과는 CoBA가 딥 네트워크 학습에서 경험적 리스크 목적 함수를 최소화하는 데 있어 기존 방법들을 능가함을 검증한다.