[논문 리뷰] AdaSGD: Bridging the gap between SGD and Adam

Jiaxuan Wang, Jenna Wiens|arXiv (Cornell University)|2020. 06. 30.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 5

한 줄 요약

AdaSGD는 단일 글로벌 학습률을 적응적으로 조정하는 간단한 SGD 수정을 제안하며, Adam의 수렴 속도와 SGD의 일반화 성능을 결합합니다. 실증적으로, 전이 스케줄이나 추가 하이퍼파rameter 없이도 여러 데이터셋과 아키텍처에서 Adam과 SGD 간의 성능 격차를 줄입니다.

ABSTRACT

In the context of stochastic gradient descent(SGD) and adaptive moment estimation (Adam),researchers have recently proposed optimization techniques that transition from Adam to SGD with the goal of improving both convergence and generalization performance. However, precisely how each approach trades off early progress and generalization is not well understood; thus, it is unclear when or even if, one should transition from one approach to the other. In this work, by first studying the convex setting, we identify potential contributors to observed differences in performance between SGD and Adam. In particular,we provide theoretical insights for when and why Adam outperforms SGD and vice versa. We ad-dress the performance gap by adapting a single global learning rate for SGD, which we refer to as AdaSGD. We justify this proposed approach with empirical analyses in non-convex settings. On several datasets that span three different domains,we demonstrate how AdaSGD combines the benefits of both SGD and Adam, eliminating the need for approaches that transition from Adam to SGD.

연구 동기 및 목표

• Adam이 일부 설정에서 SGD를 승리하는 이유와 반대로 SGD가 승리하는 이유를 이해하기 위해, 특히 초기 수렴 속도와 일반화 성능 측면에서 분석합니다.
• 관찰된 성능 차이를 고려할 때, Adam에서 SGD로의 전이 방법이 필수적인지 조사합니다.
• 복잡한 스케줄 변경 없이도 Adam과 SGD의 장점을 결합하는 통합 최적화 접근법을 개발합니다.
• 단일 적응형 글로벌 학습률을 가진 SGD가 비볼록 딥러닝 설정에서 특히 Adam과 유사한 성능을 달성할 수 있음을 입증합니다.

제안 방법

• Adam의 적응 메커니즘을 영감으로 삼되, 매개변수별가 아니라 전역적으로 적용하는 방식으로, 경사 통계에 기반해 글로벌 학습률을 적응적으로 재스케일링하는 SGD의 변종인 AdaSGD를 제안합니다.
• 볼록 2차 형식 설정에서 이론적 분석을 통해 Adam이 SGD를 승리하는 경우와 반대로 승리하는 경우를 특정하고, 학습률 민감도와 암묵적 정규화에 초점을 맞춥니다.
• 이미지 분류(CIFAR-10), 언어 모델링(WikiText-2), 의료 예측(MIMIC-3)의 세 영역에서 딥 네URAL 네트워크에 AdaSGD를 적용합니다.
• 그리드 서치와 감쇠가 적용된 고정 학습률 스케줄을 사용하여 AdaSGD를 SGD, Adam, 전이 방법(예: AdaBound, Swats)과 비교합니다.
• 검증 성능를 사용해 하이퍼파rameter를 튜닝하고, 표준 지표인 정확도, AUC, 퍼플렉서티를 사용해 테스트 세트에서 평가합니다.
• 구현에는 PyTorch를 사용하고, 보조 자료에 익명화된 코드를 포함합니다.

실험 결과

연구 질문

• RQ1 어떤 설정에서 Adam이 SGD를 승리하고, 그 이유는 무엇인지, 특히 학습률 민감도와 일반화 측면에서 설명합니다.
• RQ2 특히, 단일 글로벌 학습률의 적응적 스케일 조정이라는 단순한 수정을 통해, Adam으로의 전이 스케줄 없이도 Adam과의 성능 격차를 메울 수 있을까요?
• RQ3 AdaBound과 Swats와 같은 기존의 전이 방법과 비교할 때, AdaSGD는 다양한 딥러닝 작업에서 얼마나 뛰어난 강건성과 성능를 보입니다?
• RQ4 Adam의 학습률 선택에 대한 강건성은 매개변수별 적응에서 기인하는 것일까요, 아니면 전역 학습률 적응만으로도 이를 재현할 수 있을까요?

주요 결과

• AdaSGD는 CIFAR-10, WikiText-2, MIMIC-3에서 Adam과 유사한 성능를 달성하며, 전이 스케줄 없이도 Adam과 SGD 간의 성능 격차를 줄입니다.
• 그리드 서치를 통해 하이퍼파rameter를 튜닝한 결과, AdaSGD와 Adam은 세 데이터셋 전반에서 유사한 성능를 보였고, SGD는 학습률 선택에 매우 민감했습니다.
• 고정 학습률과 감쇠를 사용할 경우, SGD의 성능는 튜닝된 버전에 비해 크게 떨어졌지만, AdaSGD는 튜닝에 의해 거의 향상되지 않았으며, 이는 강건성을 시사합니다.
• AdaBound과 Swats와 같은 전이 방법은 항상 Adam이나 AdaSGD를 능가하지 못했으며, AdaBound은 WikiText-2에서 성능가 낮고 하이퍼파rameter에 민감했습니다.
• 결과는 Adam의 강건성이 매개변수별 적응 자체에서 기인하는 것이 아니라, 전역 학습률 적응만으로도 재현될 수 있음을 시사합니다.
• Tiny ImageNet, 100층의 DenseNet을 사용한 CIFAR-100, 변동형 오토인코더를 사용한 MNIST에서의 광범위한 실험을 통해 AdaSGD가 다양한 아키텍처와 작업에서 잘 일반화됨을 확인했습니다.