[논문 리뷰] Online Adaptive Methods, Universality and Acceleration

Kfir Y. Levy, Alp Yurtsever외 1명|arXiv (Cornell University)|2018. 09. 08.

Stochastic Gradient Optimization Techniques인용 수 27

한 줄 요약

이 논문은 부드러운 목적 함수에 대해 가속화된 수렴, 비부드러운 목적 함수에 대해 표준 수렴, 그리고 확률적 설정에서의 강건한 성능을 모두 달성하면서도 부드러움 또는 노이즈 수준에 대한 사전 지식이 없이도 가능한 새로운 온라인 적응형 최적화 방법인 AcceleGrad를 소개한다. 중요도 가중치를 통한 적응형 학습률과 선형 결합된 두 시퀀스 업데이트 규칙을 조합함으로써, AcceleGrad는 부드러운 경우에 $\mathcal{O}(1/T^2)$의 가속화된 수렴률을 달성하고 일반적인 경우에 $\mathcal{O}(1/\sqrt{T})$를 확보하며, 가속화된 AdaGrad에 대한 첫 번째 보편성 결과를 수립한다.

ABSTRACT

We present a novel method for convex unconstrained optimization that, without any modifications, ensures: (i) accelerated convergence rate for smooth objectives, (ii) standard convergence rate in the general (non-smooth) setting, and (iii) standard convergence rate in the stochastic optimization setting. To the best of our knowledge, this is the first method that simultaneously applies to all of the above settings. At the heart of our method is an adaptive learning rate rule that employs importance weights, in the spirit of adaptive online learning algorithms (Duchi et al., 2011; Levy, 2017), combined with an update that linearly couples two sequences, in the spirit of (Allen-Zhu and Orecchia, 2017). An empirical examination of our method demonstrates its applicability to the above mentioned scenarios and corroborates our theoretical findings.

연구 동기 및 목표

• 부드러운 볼록 최적화 설정에서 가속화된 수렴을 달성하고, 비부드러운 설정에서는 표준 수렴률을 확보하며, 확률적 설정에서도 강건한 성능을 보이는 단일 최적화 방법을 개발하는 것.
• 최적화에서 노이즈와 알려지지 않은 부드러움에 대한 적응성과 가속화를 동시에 통합하는 데 오랫동안 지속된 과제를 해결하는 것.
• 예상 손실이 부드러울 경우, 스 tochastic 설정에서 AdaGrad가 $\mathcal{O}(1/T + \sigma/\sqrt{T})$ 수렴률을 달성함을 증명하여, 그 알려진 노이즈에 대한 강건성 외에도 보편성을 입증하는 것.
• 적응형 온라인 학습(예: AdaGrad)과 가속화된 경사 하강법(예: Nesterov)이라는 두 가지 핵심 개념을 통합하는 것—선형 검색이나 사전 파rameter 조정 없이도 가능하도록 하는 것.

제안 방법

• 이 방법은 온라인 학습에서 중요도 가중치의 영향을 받은 적응형 학습률 규칙을 활용하며(Duchi 등, 2011; Levy, 2017), 이는 이전 기울기 기반으로 단계 크기를 동적으로 조정한다.
• Allen-Zhu와 Orecchia(2017)의 프레임워크에서 영감을 얻어, 두 시퀀스 간의 선형 결합 메커니즘을 도입함으로써 모멘텀 유사한 가속화를 가능하게 한다.
• 알려지지 않은 부드러움 또는 노이즈 분산에 대한 사전 지식이 필요 없도록 설계되어, 다양한 최적화 환경에서 보편적으로 적용 가능하다.
• 업데이트 규칙은 적응형 단계 크기와 모멘텀 성분을 통합하여 탐색과 수렴 속도의 균형을 이룬다.
• 투영 오차에 강건하며, 비제약 설정에서 투영 단계가 생략되어도 잘 작동한다.
• 실험적 검증은 합성 데이터와 실제 데이터 세트(예: RCV1)를 사용하여, 다양한 미니배치 크기 하에서 AcceleGrad, AdaGrad 및 보편적 방법 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 부드러움에 대한 사전 지식이 없이도, 단일 최적화 알고리즘이 부드러운 볼록 최적화에서 가속화된 수렴을 달성할 수 있는가?
• RQ2 AdaGrad와 같은 적응형 방법이 부드러움이 존재함에도 불구하고, 명시적인 부드러움 정보 없이도 가속화된 수렴률을 달성할 수 있는가?
• RQ3 부드러운, 비부드러운, 그리고 확률적 설정을 동시에 처리할 수 있는 최적의 수렴률을 보장하는 보편적 방법을 설계하는 것이 가능한가?
• RQ4 분산 또는 대규모 환경에서 미니배치 크기가 증가함에 따라, 적응형 가속화 방법의 성능은 어떻게 변화하는가?

주요 결과

• AcceleGrad는 부드러운 볼록 목적 함수에 대해 $\mathcal{O}(1/T^2)$의 가속화된 수렴률을 달성하고, 일반적인 볼록 목적 함수에 대해서는 $\tilde{\mathcal{O}}(1/\sqrt{T})$를 확보하며, 부드러움에 대한 지식이 필요하지 않다.
• 확률적 설정에서 AcceleGrad는 수정 없이도 $\tilde{\mathcal{O}}(1/\sqrt{T})$의 수렴률을 확보하여, 일반적인 확률적 서브기울기 방법의 표준 수렴률과 일치한다.
• 논문은 AdaGrad가 예상 손실이 부드러울 경우 스 tochastic 설정에서 $\mathcal{O}(1/T + \sigma/\sqrt{T})$ 수렴률을 달성함을 증명하여, 가속화 없이도 보편성을 입증한다.
• 실험 결과에 따르면, 고정밀도가 요구되는 대규모 미니배치 환경에서 AcceleGrad는 AdaGrad를 능가하며, 배치 크기 $b$가 증가함에 따라 수렴률이 $\mathcal{O}(b^2/S^2)$에 수렴하는 반면, AdaGrad의 수렴률은 $\mathcal{O}(b/S)$로 악화됨을 보였다.
• 투영 단계가 생략되어도 이 방법은 효과적이며, 일부 경우에서는 투영이 생략되었을 때 성능이 약간 향상됨을 확인했다.
• RCV1 데이터셋에서 로지스틱 회귀 및 SVM 작업에서, AcceleGrad는 미니배치 크기가 증가함에 따라 성능을 유지하거나 향상시키는 반면, AdaGrad는 $b=1000$을 초과하면 성능이 저하됨을 관찰했다.