[논문 리뷰] Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize

Ryan D'Orazio, Nicolas Loizou외 2명|arXiv (Cornell University)|2021. 10. 28.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 8

한 줄 요약

이 논문은 보조적 경계 조건 없이도 보조적 경계 조건 없이도 수렴하는 스토하스틱 미러 경량화(Stochastic Mirror Descent, SMD)를 위한 적응형 스텝사이즈인 미러 스토하스틱 폴리악 스텝사이즈(mirror stochastic Polyak stepsize, mSPS)를 소개한다. 이는 경계 조건 하에서의 수렴 보장을 처음으로 확립하며, 스무스 및 상대 스무스 설정에서 일정 스텝사이즈와 적응형 스텝사이즈에 대한 새로운 수렴 결과를 제공한다.

ABSTRACT

We investigate the convergence of stochastic mirror descent (SMD) under interpolation in relatively smooth and smooth convex optimization. In relatively smooth convex optimization we provide new convergence guarantees for SMD with a constant stepsize. For smooth convex optimization we propose a new adaptive stepsize scheme -- the mirror stochastic Polyak stepsize (mSPS). Notably, our convergence results in both settings do not make bounded gradient assumptions or bounded variance assumptions, and we show convergence to a neighborhood that vanishes under interpolation. Consequently, these results correspond to the first convergence guarantees under interpolation for the exponentiated gradient algorithm for fixed or adaptive stepsizes. mSPS generalizes the recently proposed stochastic Polyak stepsize (SPS) (Loizou et al. 2021) to mirror descent and remains both practical and efficient for modern machine learning applications while inheriting the benefits of mirror descent. We complement our results with experiments across various supervised learning tasks and different instances of SMD, demonstrating the effectiveness of mSPS.

연구 동기 및 목표

• 비유클리드 설정에서 스토하스틱 미러 경량화(SMD)에 대한 수렴 보장의 부족을 해결한다.
• 기존 SMD 방법이 보조적 경계 조건 또는 분산 조건에 의존하는 한계를 극복한다.
• 스토하스틱 폴리악 스텝사이즈(SPS)를 미러 경량화로 일반화하면서도 실용성과 효율성을 유지하는 적응형 스텝사이즈 체계를 개발한다.
• 상대 스무스성과 스무스성 하에서 SMD의 수렴 분석을 제공하며, 보조적 경계 조건 하에서 정확한 수렴을 확보한다.
• 로지스틱 회귀, 커널 방법, p-노름을 사용한 딥러닝을 포함한 다양한 기계학습 작업에서 mSPS의 효능을 입증한다.

제안 방법

• 스토하스틱 미러 경량화(SMD)를 위한 적응형 스텝사이즈인 미러 스토하스틱 폴리악 스텝사이즈(mSPS)를 제안하며, 이는 현재 반복값과 목적함수 값에 따라 동적으로 조정된다.
• 제약 조건이 있는 최적화와 보조적 경계 조건에 맞게 조정된 유한한 최적 목적함수 차이(σ²_X)를 도입하여, 기존의 σ²보다 더 약한 노이즈 가정을 제공한다.
• 브레그만 발산과 비유클리드 투영을 통합하여 스토하스틱 폴리악 스텝사이즈(SPS) 프레임워크를 미러 경량화에 적용한다.
• 새로운 σ²_X 가정을 사용하여 상대 스무스성 하에서 일정 스텝사이즈를 사용한 SMD의 수렴 보장을 확립한다.
• 스무스성 하에서 mSPS의 수렴을 증명하며, 보조적 경계 조건 하에서 최적 해로의 정확한 수렴을 달성한다. 이는 보조적 경계 조건 없이도 가능하다.
• 브레그만 발산 기반 업데이트를 통해 미러 경량화에서 최적화 기하학을 문제의 구조와 일치시켜, 고차원 또는 비유클리드 설정에서 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 스토하스틱 미러 경량화는 보조적 경계 조건 하에서 보조적 경계 조건 없이도 수렴할 수 있는가?
• RQ2 스토하스틱 폴리악 스텝사이즈(SPS)는 어떻게 미러 경량화로 일반화되어 기하학적 인식이 가능한 적응형 최적화를 가능하게 하는가?
• RQ3 제약 조건이 있는 유한한 최적 목적함수 차이(σ²_X)는 상대 스무스 최적화에서 수렴 보장에 어떤 영향을 미치는가?
• RQ4 제안된 mSPS 적응형 스텝사이즈는 다양한 기계학습 작업과 미러 경량화 변형에서 수작업으로 조정된 일정 스텝사이즈를 능가하는가?
• RQ5 mSPS는 스무스 및 상대 스무스 설정 모두에서 보조적 경계 조건 하에서 최소화자로의 정확한 수렴을 보장할 수 있는가?

주요 결과

• 논문은 보조적 경계 조건 하에서의 지수적 그래디언트 알고리즘에 대한 첫 번째 수렴 보장을 mSPS 적응형 스텝사이즈를 통해 확립한다.
• mSPS는 보조적 경계 조건 하에서 스무스 볼록 최적화에서 최적 해로의 정확한 수렴을 달성하며, 보조적 경계 조건 없이도 가능하다.
• 제약 조건이 있는 보조적 경계 조건 설정에서 수렴 가능성을 보장하기 위해, 기존 σ²보다 더 약한 노이즈 가정인 유한한 최적 목적함수 차이(σ²_X)를 도입한다.
• 실험 결과, mSPS는 로지스틱 회귀, 커널 방법, CIFAR10에서 ResNet-34를 사용한 딥러닝에서 최적화된 일정 스텝사이즈와 비교해도 뛰어나거나 동등한 성능을 보였다.
• p-노름을 사용한 딥러닝에서는, c=0.2 및 스무딩을 적용한 mSPS가 일정 스텝사이즈보다 유의미하게 더 빠르게 수렴하며, p가 감소할수록 그 성능 격차가 더욱 두드러진다.
• mSPS는 다양한 미러 경량화 변형과 문제 기하학에 대해 강건하며, 고정된 c=1을 사용하더라도 초깃값 조정 없이도 뛰어난 성능을 보였다.