[논문 리뷰] PGDOT -- Perturbed Gradient Descent Adapted with Occupation Time

Xin Guo, Jiequn Han외 2명|arXiv (Cornell University)|2020. 05. 09.

Neural Networks and Applications참고 문헌 60인용 수 4

한 줄 요약

이 논문은 수렴 속도를 높이고 안장점에서 벗어나기 위해 점유 시간을 사용해 편향을 적응시키는 PGDOT라는 변형 경사 하강법을 제안한다. 이는 특히 안장점에서 벗어나는 데서 표준 최적화기인 Adam과 RMSProp보다 뛰어나며, PGD와 동일하거나 그 이상의 수렴 속도를 보장한다.

ABSTRACT

This paper develops further the idea of perturbed gradient descent (PGD), by adapting perturbation with the history of states via the notion of occupation time. The proposed algorithm, perturbed gradient descent adapted with occupation time (PGDOT), is shown to converge at least as fast as the PGD algorithm and is guaranteed to avoid getting stuck at saddle points. The analysis is corroborated by empirical studies, in which a mini-batch version of PGDOT is shown to outperform alternatives such as mini-batch gradient descent, Adam, AMSGrad, and RMSProp in training multilayer perceptrons (MLPs). In particular, the mini-batch PGDOT manages to escape saddle points whereas these alternatives fail.

연구 동기 및 목표

• 딥 러닝 학습 중 표준 최적화 방법이 안장점에서 벗어나지 못하는 한계를 해결하기 위해.
• 역사적 상태 정보를 통합함으로써 변형 경사 하강법의 수렴 속도를 향상시키기 위해.
• 이론적으로 탄탄한 최적화 알고리즘을 개발하여 국소 최소값과 안장점을 더 효과적으로 피하기 위해.
• 제안된 방법이 Adam, RMSProp과 같은 인기 있는 적응형 최적화기보다 뛰어나다는 것을 경험적으로 검증하기 위해.

제안 방법

• 최적화 과정 중 상태가 얼마나 오랫동안 방문되었는지를 측정하기 위해 점유 시간을 도입한다.
• 현재 상태의 누적 점유 시간에 기반해 경사 하강법에서 편향의 크기를 적응시킨다.
• 상태가 자주 재방문될 경우 증가하는 시간 적응형 편향 항을 업데이트 규칙에 통합한다.
• 이론적 분석을 통해 PGDOT는 PGD와 동일하거나 그 이상의 속도로 수렴하며, 약한 조건 하에서 안장점을 피할 수 있음을 보여준다.
• 딥 네ural 네트워크의 실용적 학습을 위해 PGDOT의 미니배치 변형을 개발한다.
• 기본 최적화기들과의 비교를 위해 다층 퍼셉트론에서 미니배치 PGDOT를 경험적으로 평가한다.

실험 결과

연구 질문

• RQ1 점유 시간이 변형 경사 하강법에서 편향을 적응시키는 데 효과적으로 사용될 수 있는가?
• RQ2 딥 러닝 환경에서 PGDOT는 PGD와 다른 표준 최적화기보다 더 빠르게 수렴하는가?
• RQ3 PGDOT는 Adam, RMSProp 및 유사한 방법이 실패하는 경우에도 안장점을 신뢰성 있게 벗어날 수 있는가?
• RQ4 표준 MLP 벤치마크에서 PGDOT의 미니배치 버전은 적응형 최적화기들과 비교해 어떻게 성능을 내는가?

주요 결과

• PGDOT는 이론적으로 수렴 속도가 PGD와 동일하거나 그 이상임을 보장하며, 수렴 속도에 대한 이론적 보장을 갖는다.
• PGDOT는 안장점에 갇히는 것을 증명적으로 방지하며, 많은 표준 최적화기의 핵심적인 한계를 해결한다.
• 경험적 평가 결과, 미니배치 PGDOT는 MLP 학습에서 미니배치 경사 하강법, Adam, AMSGrad, RMSProp보다 뛰어난 성능을 보였다.
• 미니배치 PGDOT는 학습 과정에서 안장점을 성공적으로 벗어나지만, Adam, RMSProp 및 유사한 방법은 이를 수행하지 못한다.
• 점유 시간의 사용은 수렴을 해치지 않으면서 탐색을 향상시키는 적응형 편향을 가능하게 한다.
• 특히 비볼록 환경에서, 이 알고리즘은 깊이 있는 신경망 최적화 과제에서 뛰어난 강건성과 효율성을 보여준다.