[논문 리뷰] AEGD: Adaptive Gradient Decent with Energy.

Hailiang Liu, Xuping Tian|arXiv (Cornell University)|2020. 10. 10.

Stochastic Gradient Optimization Techniques참고 문헌 57인용 수 4

한 줄 요약

AEGD는 큰 스텝 사이즈에서도 조건부 에너지 안정성과 빠른 수렴을 보장하기 위해 적응형 이차 에너지 업데이트를 사용하는 새로운 1차 최적화 알고리즘입니다. 최소한의 하이퍼파라미터 튜닝으로 충분하며, 딥 네ural 네트워크에서 일반화 성능 면에서 SGD with momentum를 능가하면서도 초기 조건에 대해 강건합니다.

ABSTRACT

In this paper, we propose AEGD, a new algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive updates of quadratic energy. As long as an objective function is bounded from below, AEGD can be applied, and it is shown to be unconditionally energy stable, irrespective of the step size. In addition, AEGD enjoys tight convergence rates, yet allows a large step size. The method is straightforward to implement and requires little tuning of hyper-parameters. Experimental results demonstrate that AEGD works well for various optimization problems: it is robust with respect to initial data, capable of making rapid initial progress, shows comparable and most times better generalization performance than SGD with momentum for deep neural networks. The implementation of the algorithm can be found at this https URL.

연구 동기 및 목표

• 스텝 사이즈에 관계없이 절대적인 에너지 안정성을 보장하는 1차 최적화 알고리즘을 개발하는 것.
• 큰 스텝 사이즈를 사용하면서도 초기 데이터에 대해 강건한 빠른 수렴을 가능하게 하는 것.
• 기존 방법들인 SGD with momentum와 비교해 하이퍼파라미터 튜닝 요구 사항을 줄이는 것.
• 기본적인 확률적 경사하강법에 비해 딥 네ural 네트워크에서의 일반화 성능을 향상시키는 것.

제안 방법

• AEGD는 최적화 과정 중에 변화하는 이차 에너지 함수에 기반한 적응형 업데이트를 도입합니다.
• 에너지 함수는 목적 함수가 아래에서 유계임을 보장하기 위해 동적으로 조정됩니다.
• 알고리즘은 스텝 사이즈에 독립적으로 에너지 안정성을 보장하므로 더 큰 학습률을 사용할 수 있습니다.
• 에너지 적응을 통합한 기울기 기반 업데이트 규칙을 사용하여 수렴 속도를 가속화합니다.
• 최소한의 하이퍼파라미터 설정으로 간단하게 구현할 수 있도록 설계되었습니다.
• 에너지 적응 메커니즘은 초기화에 대한 강건성과 최적화의 초기 단계에서의 빠른 진전을 보장합니다.

실험 결과

연구 질문

• RQ1 1차 최적화 방법이 스텝 사이즈에 관계없이 절대적인 에너지 안정성을 달성할 수 있는가?
• RQ2 적응형 에너지 기반 업데이트가 딥 네ural 네트워크에서 수렴 속도와 일반화 성능을 향상시키는가?
• RQ3 AEGD는 큰 스텝 사이즈를 유지하면서 발산을 피할 수 있는가?
• RQ4 초기화에 대한 강건성과 일반화 성능 면에서 AEGD는 SGD with momentum보다 어떻게 비교되는가?

주요 결과

• AEGD는 어떤 스텝 사이즈에서도 절대적인 에너지 안정성을 확보하므로 이는 중요한 이론적 이점입니다.
• 알고리즘은 날카운 수렴 속도를 달성하여 최적화의 초기 단계에서 급속한 진전을 이룹니다.
• AEGD는 딥 네ural 네트워크에서 SGD with momentum와 비교해 유사하거나 더 뛰어난 일반화 성능을 보입니다.
• 초기 데이터에 대해 강건하여 다양한 초기화 설정에서도 일관된 성능을 보입니다.
• AEGD는 최소한의 하이퍼파라미터 튜닝으로 충분하므로 실세계 딥 러닝 응용에 실용적입니다.
• 구현은 간단하며 공개되어 있어 재현성과 도입을 지원합니다.