[논문 리뷰] Do optimization methods in deep learning applications matter?

Buse Melis Özyıldırım, Mariam Kiran|arXiv (Cornell University)|2020. 02. 28.

Advanced Neural Network Applications참고 문헌 19인용 수 5

한 줄 요약

이 논문은 분류(CIFAR, MNIST)와 강화학습(CartPole, FlappyBird) 응용 분야에서 일阶 및 이阶 최적화 방법—SGD, CG, L-BFGS, Levenberg-Marquardt(LM)—을 평가한다. LM는 뛰어난 수렴 성능를 보였지만, 배치 처리 요구와 미니배치 지원 부족으로 인해 높은 계산 비용을 유발한다. 반면 SGD와 CG는 더 빠른 학습을 보였지만 수렴 성능가 낮아 속도와 정확도 사이의 상충 관계를 드러낸다.

ABSTRACT

With advances in deep learning, exponential data growth and increasing model complexity, developing efficient optimization methods are attracting much research attention. Several implementations favor the use of Conjugate Gradient (CG) and Stochastic Gradient Descent (SGD) as being practical and elegant solutions to achieve quick convergence, however, these optimization processes also present many limitations in learning across deep learning applications. Recent research is exploring higher-order optimization functions as better approaches, but these present very complex computational challenges for practical use. Comparing first and higher-order optimization functions, in this paper, our experiments reveal that Levemberg-Marquardt (LM) significantly supersedes optimal convergence but suffers from very large processing time increasing the training complexity of both, classification and reinforcement learning problems. Our experiments compare off-the-shelf optimization functions(CG, SGD, LM and L-BFGS) in standard CIFAR, MNIST, CartPole and FlappyBird experiments.The paper presents arguments on which optimization functions to use and further, which functions would benefit from parallelization efforts to improve pretraining time and learning rate convergence.

연구 동기 및 목표

• 딥러닝 응용 분야에서 일阶 및 이阶 최적화 방법의 성능을 평가하는 것.
• 다양한 최적화 함수 간 수렴 속도, 계산 비용, 모델 정확도 사이의 상충 관계를 규명하는 것.
• 특히 LM 및 L-BFGS와 같은 고차 최적화 방법에 대해 최적화 알고리즘의 병렬화 가능성과 이점 조사.
• 손실 함수 유형과 데이터 크기에 따라 분류 및 강화학습 작업에 가장 적합한 최적화 방법을 규명하는 것.
• 선형 탐색 알고리즘과 배치 처리 제약 조건이 최적화 방법의 효율성과 수렴에 미치는 영향 분석.

제안 방법

• MNIST와 CIFAR를 위한 이미지 분류, CartPole과 FlappyBird를 위한 강화학습을 위한 네 가지 벤치마크 데이터셋에서 실험 수행.
• 동일한 초모수 설정 하에 Stochastic Gradient Descent(SGD), Conjugate Gradient(CG), L-BFGS, Levenberg-Marquardt(LM)의 네 가지 최적화 함수 비교.
• 다중 런에 걸쳐 손실 함수 감소, 학습 시간, 예측 정확도를 측정하여 수렴 성능 평가.
• L-BFGS에서 선형 탐색의 역할과 그 수렴 및 계산 비용에 미치는 영향 평가.
• LM의 계산 부담 분석—모든 샘플을 동시에 처리해야 하며, 미니배치를 사용할 수 없음.
• 학습 시간 단축을 위한 기울기 계산(LM) 및 선형 탐색(L-BFGS)의 병렬화 가능성 탐색.

실험 결과

연구 질문

• RQ1 분류 및 강화학습 작업에서 일阶(SGD, CG)와 이阶(L-BFGS, LM) 최적화 방법의 수렴 속도 및 정확도 측면에서의 비교는 어떻게 되는가?
• RQ2 배치 크기 및 미니배치 처리가 다양한 최적화 방법, 특히 LM의 성능 및 실현 가능성에 어떤 영향을 미치는가?
• RQ3 L-BFGS의 선형 탐색 알고리즘이 수렴과 계산 비용에 미치는 영향은 무엇이며, 병렬화를 통해 최적화 가능할까?
• RQ4 높은 계산 비용에도 불구하고 LM이 다른 최적화 방법보다 뛰어난 성능를 보이는 상황은 어떤가?
• RQ5 어떤 최적화 방법이 병렬화에 가장 적합한가? 그리고 이를 통해 대규모 딥러닝에서 학습 효율성이 어떻게 향상될 수 있는가?

주요 결과

• Levenberg-Marquardt(LM)는 분류 및 강화학습 작업에서 모두 가장 뛰어난 수렴 성능를 보였으며, SGD와 CG를 크게 앞섰다.
• 우수한 수렴 성능에도 불구하고, LM는 모든 학습 샘플을 동시에 처리해야 하므로 매우 높은 계산 시간을 유발하여 대규모 데이터에는 실현 불가능하다.
• SGD와 CG는 더 빠른 학습 시간를 보였지만 LM에 비해 수렴 성능가 열 劣하였으며, CG는 SGD와 유사한 성능를 보였다.
• L-BFGS는 LM만큼의 수렴 성능는 아니었지만 SGD와 CG보다 뛰어나며, 특히 선형 탐색 알고리즘이 10회 이내로 제한된 경우에 민감도가 높은 것으로 나타나 선형 탐색 설정에 의존함을 시사했다.
• LM는 기울기를 개별 샘플 기반으로 계산하므로, 미니배치를 사용할 수 없어 소형·고밀도 모델 및 회귀 기반 문제에 국한되어 사용된다.
• LM의 기울기 계산 및 L-BFGS의 선형 탐색 병렬화를 통해 학습 시간을 크게 단축시킬 수 있으며, 이는 이阶 최적화 방법의 분산 최적화 잠재력이 매우 높다는 것을 시사한다.