[논문 리뷰] Improved Learning Rates for Stochastic Optimization

Shaojie Li, Tang, Pengwei외 1명|ArXiv.org|2021. 07. 19.

Sparse and Compressive Sensing Techniques참고 문헌 119인용 수 4

한 줄 요약

이 논문은 더 가벼운 가정 하에 경험적 리스크 최소화(ERM)와 확률적 경사 하강법(SGD)를 사용한 확률적 최적화에서 향상된 고확률 학습 속도를 확립한다. 안정성과 균일 수렴 프레임워크를 모두 활용하여, 볼록 학습에서는 최적의 $Ø(1/n)$ 속도를, 비볼록 학습에서는 더 빠른 $Ø(1/n^2)$ 속도를 달성하며, 이는 이론적 분야에서 최신 기술 수준의 결과를 나타낸다.

ABSTRACT

Stochastic optimization is a cornerstone of modern machine learning. This paper studies the generalization performance of two classical stochastic optimization algorithms: stochastic gradient descent (SGD) and Nesterov's accelerated gradient (NAG). We establish new learning rates for both algorithms, with improved guarantees in some settings or comparable rates under weaker assumptions in others. We also provide numerical experiments to support the theory.

연구 동기 및 목표

• 강한 볼록성 외의 더 약한 조건 하에서도 ERM 및 SGD의 강력한 이론적 이해 부족 문제를 해결하기 위해.
• 강한 볼록성 등의 조건을 완화함으로써 볼록 학습에서의 학습 속도를 향상시키기 위해.
• 이전 결과가 제한적이거나 느렸던 비볼록 학습에서 더 빠른 수렴 속도를 도출하기 위해.
• 일반화 성능 분석을 위한 두 이론적 시각—안정성과 균일 수렴—을 통합하기 위해.
• 비볼록 설정에서 ERM 및 SGD에 대해 $Ø(1/n)$ 순서의 고확률 초과 리스크 경계를 처음으로 확립하기 위해.

제안 방법

• 균일 수렴과 알고리즘 안정성이라는 두 이론적 프레임워크를 사용하여 ERM 및 SGD를 분석한다.
• 비볼록 설정에서 더 빠른 $Ø(1/n^2)$ 학습 속도를 도출하기 위해 균일 수렴을 적용한다.
• 스텝 사이즈 $η_t = c/(t+1)$ 를 사용한 안정성 분석을 통해 유사한 데이터셋에서 학습된 모델 간의 차이를 제한한다.
• 변경된 데이터에 대한 모델 업데이트에 대해 재귀적 경계를 적용하며, 데이터 포인트의 영향을 나타내는 지시 함수를 통합한다.
• 안정성 분석에서 큰 이탈의 확률을 제어하기 위해 체르노프 유사 농도 경계를 적용한다.
• 재귀적 안정성 경계를 리프시츠 연속성 및 미끄러움 가정과 결합하여 고확률 초과 리스크 경계를 유도한다.

실험 결과

연구 질문

• RQ1 강한 볼록성보다 더 가벼운 가정 하에, 볼록 학습에서 ERM 및 SGD에 대해 향상된 고확률 학습 속도를 달성할 수 있는가?
• RQ2 일반 조건 하에서 비볼록 학습에서 ERM 및 SGD에 대해 달성 가능한 가장 빠른 학습 속도는 무엇인가?
• RQ3 안정성 프레임워크를 통해 비볼록 문제에 대해 기대값 외에 $Ø(1/n)$ 순서의 고확률 경계를 도출할 수 있는가?
• RQ4 균일 수렴과 안정성 프레임워크는 어떻게 서로 다른 속도를 도출하는가?
• RQ5 고확률 안정성 경계에서 $n$ 의 의존도를 $\mathcal{O}(1/\sqrt{n})$ 초과로 개선할 수 있는가?

주요 결과

• 이 논문은 이전 연구들보다 더 가벼운 가정 하에 볼록 학습에서 ERM 및 SGD에 대해 $\mathcal{O}(1/n)$ 순서의 고확률 학습 속도를 확립한다.
• 비볼록 학습에서, 안정성 분석을 통해 $\mathcal{O}(1/n)$ 순서의 고확률 속도를 달성하였으며, 이는 이전의 고확률 경계 $\mathcal{O}(1/\sqrt{n})$ 에 비해 상당한 향상이다.
• 균일 수렴 프레임워크 하에서, 비볼록 설정에서 ERM 및 SGD에 대해 $\mathcal{O}(1/n^2)$ 순서의 더 빠른 학습 속도를 도출하였다.
• SGD에 대한 안정성 경계는 고확률적으로 $\mathcal{O}\left(t^{c\beta}\sqrt{\frac{\log(n/\delta)}{n}}\right)$ 로 나타나며, 이는 비볼록 학습에서 이와 같은 결과를 처음으로 확보한 것이다.
• 제안된 경계는 볼록 및 비볼록 환경 모두에서 기존 결과를 초월하는 최신 기술 수준임을 입증하였다.
• 분석을 통해 고확률 안정성 경계에서 $\mathcal{O}(1/\sqrt{n})$ 항은 정교한 농도 기법을 통해 완화될 수 있으며, 이는 더 빠른 수렴을 가능하게 한다고 밝혔다.