[논문 리뷰] PAL: A fast DNN optimization method based on curvature information.

Maximus Mutschler, Andreas Zell|arXiv (Cornell University)|2019. 03. 28.

Advanced Neural Network Applications참고 문헌 41인용 수 4

한 줄 요약

PAL은 손실 함수를 내림 경사 방향에 따라 포물선으로 근사함으로써 곡률 정보를 활용하는 빠른 DNN 최적화기로, 이 근사의 최소값으로 직접 수렴할 수 있다. 이로 인해 학습 에포크 수를 최대 52.2% 감소시키며, 대규모 고차원 문제에서 RMSProp, 모멘터럼이 있는 SGD, ADAM보다 뛰어난 성능을 발휘한다.

ABSTRACT

We present a novel optimizer for deep neural networks that combines the ideas of Netwon's method and line search to efficiently compute and utilize curvature information. Our work is based on empirical observation suggesting that the loss function can be approximated by a parabola in negative gradient direction. Due to this approximation, we are able to perform a variable and loss function dependent parameter update by jumping directly into the minimum of the approximated parabola. To evaluate our optimizer, we performed multiple comprehensive hyperparameter grid searches for which we trained more than 20000 networks in total. We can show that PAL outperforms RMSPROP, and can outperform gradient descent with momentum and ADAM on large-scale high-dimensional machine learning problems. Furthermore, PAL requires up to 52.2% less training epochs. PyTorch and TensorFlow implementations are provided at this https URL.

연구 동기 및 목표

• 1차 최적화기의 비효율성을 곡률 정보를 통합함으로써 해결한다.
• 2차 최적화 방법에서 정확한 헤시안 행렬 계산의 계산 비용을 극복한다.
• 완전한 헤시안 행렬 계산 없이 국소 곡률을 활용하는 확장성 있고 효율적인 최적화 방법을 개발한다.
• 대규모 문제에서 표준 최적화기인 ADAM과 RMSProp과 비교해 뛰어난 성능과 샘플 효율성을 입증한다.

제안 방법

• 실험적 관찰을 바탕으로 손실 함수를 내림 경사 방향에서 포물선으로 근사한다.
• 선형 탐색을 사용하여 근사된 포물선 손실 함수를 최소화하는 최적의 스텝 크기를 계산한다.
• 반복적 보정을 피하기 위해 근사된 포물선의 최소값으로 직접 매개변수를 갱신한다.
• 포물선 근사를 통해 곡률 정보를 암묵적으로 활용함으로써 기존의 기울기 중심 갱신에 대한 의존도를 낮춘다.
• 해시안 행렬을 명시적으로 계산하지 않으면서도 2차 효과를 포착함으로써 계산 효율성을 확보한다.
• 넓은 접근성과 재현 가능성을 확보하기 위해 PyTorch 및 TensorFlow 모두에 구현한다.

실험 결과

연구 질문

• RQ1 완전한 헤시안 행렬 계산의 비용을 피하면서도 수렴 속도를 향상시킬 수 있는 곡률 인식 최적화기를 설계할 수 있는가?
• RQ2 내림 경사 방향에 따라 손실 함수를 포물선으로 근사하는 것이 1차 최적화 방법보다 더 나은 최적화 성능을 낼 수 있는가?
• RQ3 제안된 방법이 ADAM, RMSProp, 모멘터럼이 있는 SGD보다 더 빠른 수렴과 더 적은 학습 에포크를 달성할 수 있는가?
• RQ4 대규모 고차원 딥러닝 문제에서 최적화기의 성능는 어떻게 스케일링되는가?
• RQ5 내림 경사 방향에 따라 손실 함수를 포물선으로 근사하는 것이 최적화에 대해 타당하고 효과적인 전략인가?

주요 결과

• PAL은 기준 최적화기 대비 학습에 필요한 에포크 수를 최대 52.2% 감소시킨다.
• PAL은 평가된 모든 대규모 고차원 기계학습 문제에서 RMSProp을 능가한다.
• 테스트된 벤치마크 전반에서 PAL은 모멘터럼이 있는 SGD와 ADAM 모두보다 더 뛰어난 성능을 달성한다.
• 내림 경사 방향에 따른 손실 함수의 포물선 근사는 효과적이고 효율적인 곡률 활용을 가능하게 한다.
• 초모수 그리드 서치에서 20,000회 이상의 네트워크 학습 실행을 통해 실용성과 확장성을 입증한 바, 실제 적용에서도 효과적이다.
• PyTorch 및 TensorFlow 구현을 통해 방법의 실용성과 기존 딥러닝 워크플로우에의 쉽게 통합 가능성을 확인했다.