[논문 리뷰] Acceleration and Averaging in Stochastic Mirror Descent Dynamics

Walid Krichene, Peter L. Bartlett|arXiv (Cornell University)|2017. 07. 19.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 연속시간 확률적 미분방정식(SDE) 프레임워크를 사용하여 가속 거울 하강 동역학의 확률적 변종을 도입하고 분석한다. 에너지 함수를 분석함으로써 지속적이고 점점 사라지는 노이즈 조건 하에서 목적 함수 값의 수렴 속도를 확립하며, 노이즈 공분산이 최적의 파rameter 선택과 수렴 속도에 결정적인 영향을 미친다는 것을 보여주며, 이는 결정론적 경우와 달리 시간 스케일 조정을 통해 수렴을 인위적으로 가속화할 수 없다는 점을 시사한다.

ABSTRACT

We formulate and study a general family of (continuous-time) stochastic dynamics for accelerated first-order minimization of smooth convex functions. Building on an averaging formulation of accelerated mirror descent, we propose a stochastic variant in which the gradient is contaminated by noise, and study the resulting stochastic differential equation. We prove a bound on the rate of change of an energy function associated with the problem, then use it to derive estimates of convergence rates of the function values, (a.s. and in expectation) both for persistent and asymptotically vanishing noise. We discuss the interaction between the parameters of the dynamics (learning rate and averaging weights) and the covariation of the noise process, and show, in particular, how the asymptotic rate of covariation affects the choice of parameters and, ultimately, the convergence rate.

연구 동기 및 목표

• 노이즈가 있는 기울기 하에서 가속 1차 최적화를 위한 연속시간 확률적 동역학 모델을 개발한다.
• 노이즈 기반 기울기 추정이 있는 확률적 설정으로 가속 거울 하강의 평균화 공식을 확장한다.
• 지속적이고 점점 사라지는 노이즈 조건 하에서 목적 함수 값의 수렴 행동을 분석한다.
• 노이즈 과정의 공분산이 학습률과 평균화 파rameter 선택에 미치는 영향을 조사한다.
• 시간 스케일 조정이 확률적 경우에서는 노이즈 재스케일링 효과로 인해 수렴을 인위적으로 가속화할 수 없다는 것을 입증한다.

제안 방법

• 시간에 따라 변하는 학습률 η(t), 평균화 가중치 a(t), 노이즈 스케일링 s(t)를 갖는 연속시간 SDE로서의 확률적 가속 거울 하강(SAMD) 동역학을 제안한다.
• 시스템 상태의 변화율을 제한하기 위해 에너지 함수를 도입하여 수렴 속도 분석을 가능하게 한다.
• 이토 미적분과 시간 전환 변환을 사용하여 확률성의 영향, 특히 노이즈 공분산에 미치는 영향을 분석한다.
• 에너지 함수와 파rameter 제약 조건을 사용하여 f(x(t)) − f(x⋆)의 거의 확실 및 기대치 기반 수렴 경계를 유도한다.
• SDE에 대한 시간 재매개변수화 γ(t)의 영향을 분석하여, 노이즈 공분산이 1/γ̇(t)² 비례로 스케일 조정됨을 보이며, 이는 인위적 가속을 방지한다.
• 노이즈가 사라질 경우, 동역학이 일반화된 형태의 가속 거울 하강 ODE를 만족함을 입증하여 이전의 결정론적 결과와 연결한다.

실험 결과

연구 질문

• RQ1 기울기의 노이즈 포함 여부가 연속시간 가속 거울 하강의 수렴 속도에 미치는 영향은 무엇인가?
• RQ2 노이즈 공분산이 학습률과 평균화 파rameter의 최적 선택에 미치는 역할은 무엇인가?
• RQ3 시간 재매개변수화가 결정론적 경우와 마찬가지로 확률적 설정에서 수렴을 가속화하는 데 사용될 수 있는가?
• RQ4 η(t), a(t), s(t) 파rameter들이 지속적이고 점점 사라지는 노이즈 조건 하에서 수렴을 어떻게 제어하는가?
• RQ5 거울 사상 ∇ψ*가 확률적 동역학의 안정성과 수렴에 미치는 영향은 무엇인가?

주요 결과

• 적절한 파rameter 조건(a = η/r 및 η ≥ ṙ) 하에서, 목적 함수 간격 f(x(t)) − f(x⋆)가 L(x₀,z₀,t₀)/r(t)로 유계임을 증명하며, 이는 O(1/r(t)) 수렴 속도를 확립한다.
• 지속적 노이즈 조건에서는 r(t) = t일 경우 수렴 속도가 O(1/t)로 유계이며, 이 경계는 노이즈 공분산 구조에 의존한다.
• 점점 사라지는 노이즈 조건에서는 동일한 파rameter 조건 하에서 여전히 O(1/t) 수렴 속도를 보이며, 에너지 함수의 감쇠 속도 역시 이 비율을 따른다.
• 분석 결과, 시간 재매개변수화 γ(t)는 노이즈 공분산이 1/γ̇(t)² 비례로 스케일 조정됨으로 인해 확률적 경우에서는 인위적 가속을 허용하지 않음을 보여준다.
• 에너지 함수의 감쇠 속도는 f(x(t))가 f(x⋆)로 수렴하는 데 직접적으로 연관되며, 이 감쇠는 η(t), a(t), 그리고 노이즈 구조 간의 상호작용에 의해 결정된다.
• 노이즈 공분산을 적절히 조정할 경우에만 확률적 동역학이 시간 재매개변수화에 대해 불변임을 보이며, 이는 결정론적 경우와의 근본적인 차이를 강조한다.