[논문 리뷰] Online to Offline Conversions, Universality and Adaptive Minibatch Sizes

Kfir Y. Levy|arXiv (Cornell University)|2017. 05. 30.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

이 논문은 적응형 온라인 알고리즘을 보편적인 수렴 보장을 갖춘 오프라인 방법으로 변환하는 새로운 온라인에서 오프라인으로의 변환 프레임워크를 제안한다. 부드러움에 대한 사전 지식 없이도 볼록 및 비볼록 설정 모두에서 적응형 성능을 달성하며, 고급 경향 영역에서 분산을 줄이는 데 기여하는 레이지 SGD 변종을 통해 스트로스틱 최적화에서 적응형 미니배치 크기 조정도 가능하다.

ABSTRACT

We present an approach towards convex optimization that relies on a novel scheme which converts online adaptive algorithms into offline methods. In the offline optimization setting, our derived methods are shown to obtain favourable adaptive guarantees which depend on the harmonic sum of the queried gradients. We further show that our methods implicitly adapt to the objective's structure: in the smooth case fast convergence rates are ensured without any prior knowledge of the smoothness parameter, while still maintaining guarantees in the non-smooth setting. Our approach has a natural extension to the stochastic setting, resulting in a lazy version of SGD (stochastic GD), where minibathces are chosen \emph{adaptively} depending on the magnitude of the gradients. Thus providing a principled approach towards choosing minibatch sizes.

연구 동기 및 목표

• 온라인 적응형 알고리즘을 강력한 이론적 보장이 있는 오프라인 방법으로 변환하여 적응형 오프라인 최적화의 격차를 메운다.
• 부드러움 매개변수에 대한 사전 지식 없이도 목적 함수의 부드러움에 암묵적으로 적응하는 방법을 개발한다.
• 더 큰 배치에서 이론적 성능 저하가 발생하지 않도록 스트로스틱 최적화에서 적응형 미니배치 크기 선택에 대한 체계적인 접근법을 제공한다.
• 부드러움이 알려져 있을 때 경사하강법과 동일한 성능을 달성하는 보편적 수렴을 확보하면서도 비부드러운 설정에서도 안정성을 유지한다.

제안 방법

• 온라인 적응형 알고리즘과 기울기 정규화, 중요도 가중치를 조합한 새로운 온라인에서 오프라인으로의 변환 체계를 도입한다.
• 볼록 및 강한 볼록 설정을 위해 각각 AdaNGD와 SC-AdaNGD를 설계하였으며, 기울기의 조화 평균을 사용해 수렴 속도를 결정한다.
• 낮은 기울기 노름 영역에서 미니배치 크기를 자동으로 증가시켜 분산을 줄이는 스트로스틱 확장인 레이지-SGD를 제안한다.
• 실제 성능 향상을 위해 스트로스틱 설정에서 nₛ 대신 1/‖g̃ₛ‖²를 사용한 수정된 적응형 추정 절차를 활용한다.
• 적응형 학습률 메커니즘을 통해 목적 함수의 구조를 암묵적으로 활용하여 부드럽고 비부드러운 경우 모두에 대해 보편성을 달성한다.
• 온라인 적응, 기울기 정규화, 중요도 가중치의 세 가지 메커니즘을 통합하여 강력하고 적응형 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 온라인 적응형 알고리즘을 체계적으로 보편적인 이론적 보장을 갖춘 오프라인 방법으로 변환할 수 있는가?
• RQ2 부드러움 매개변수에 대한 사전 지식 없이도 적응형 최적화 방법이 경사하강법의 수렴 속도를 달성할 수 있는가?
• RQ3 스트로스틱 최적화에서 이론적 효율성을 유지하면서 실용적 성능을 향상시키기 위해 미니배치 크기를 어떻게 적응적으로 선택할 수 있는가?
• RQ4 제안된 방법이 부드러운 경우의 성능를 비부드러운 설정에서도 암묵적인 부드러움 추정 없이 달성할 수 있는가, 즉 보편성을 확보할 수 있는가?
• RQ5 적응형 미니배치 선택이 스트로스틱 설정에서 분산 감소와 수렴 속도에 미치는 영향은 무엇인가?

주요 결과

• AdaNGD와 SC-AdaNGD는 부드러움 매개변수를 알지 못하더라도 일반 볼록 설정에서 O(1/√T) 수렴을 달성하고, 부드러운 볼록 설정에서는 O(1/T) 수렴을 달성한다.
• 강한 볼록 케이스에서는 일반적인 경우 O(1/T) 수렴을 달성하고, 부드러운 설정에서는 O(exp(−γT)) 수렴을 달성하며, 여기서 γ는 조건수이다.
• SC-AdaNGD 방법은 보편성을 입증한다: 부드러움에 자동으로 적응하며, 사전 지식 없이도 표준 GD나 선형 탐색보다도 부드러운 설정에서 뛰어난 성능을 보인다.
• 레이지-SGD는 볼록 및 강한 볼록 설정에서 표준 SGD와 유사한 수렴 속도를 달성하면서도, 낮은 기울기 노름 영역에서 자동으로 미니배치 크기를 증가시킨다.
• 실험 결과, SC-AdaNGD 변종은 비부드럽고 불량한 조건을 가진 문제에서 일정 및 감소하는 스텝 사이즈를 가진 GD보다 뛰어난 성능을 보였다.
• 안정성 실험 결과, SC-AdaNGD는 작은 기울기 노이즈에 대해 저항력이 있으며, 왜곡된 기울기 조건에서도 안정적인 수렴을 유지함을 확인했다.