[논문 리뷰] On the convergence of gradient-like flows with noisy gradient input

Panayotis Mertikopoulos, Mathias Staudigl|arXiv (Cornell University)|2016. 11. 21.

Stochastic Gradient Optimization Techniques참고 문헌 58인용 수 9

한 줄 요약

이 논문은 제약 조건이 있는 볼록 최적화 문제에서 노이즈가 있는 기울기 입력에 대한 미러 강하 동역학의 수렴성을 분석한다. 노이즈가 점점 줄어드는 극한에서 해 집합으로의 거의 확실한 수렴, 지속적인 노이즈 하에서 내부 해 주변의 농도, 노이즈 크기와 무관하게 수렴을 보장하는 보정된 변형을 제안하며, 명시적인 수렴 속도 경계를 제공한다.

ABSTRACT

In view of solving convex optimization problems with noisy gradient input, we analyze the asymptotic behavior of gradient-like flows under stochastic disturbances. Specifically, we focus on the widely studied class of mirror descent schemes for convex programs with compact feasible regions, and we examine the dynamics' convergence and concentration properties in the presence of noise. In the vanishing noise limit, we show that the dynamics converge to the solution set of the underlying problem (a.s.). Otherwise, when the noise is persistent, we show that the dynamics are concentrated around interior solutions in the long run, and they converge to boundary solutions that are sufficiently "sharp". Finally, we show that a suitably rectified variant of the method converges irrespective of the magnitude of the noise (or the structure of the underlying convex program), and we derive an explicit estimate for its rate of convergence.

연구 동기 및 목표

• 기울기 입력이 노이즈에 의해 손상되었을 때 기울기 유사 흐름의 渐진적 행동을 이해하기 위해.
• 콤���트 타당 집합을 가진 제약 조건이 있는 볼록 프로그램에서 스토케스틱 교란 하에서의 미러 강하 동역학을 분석하기 위해.
• 지속적인 노이즈가 존재하더라도 동역학이 최적 해로 수렴하는 조건을 확립하기 위해.
• 노이즈 수준이나 문제 구조와 무관하게 수렴을 보장하는 보정된 미러 강하 변형을 제안하기 위해.

제안 방법

• 노이즈가 있는 미러 강하 동역학을 이토 과정을 갖는 확률적 미분 방정식으로 모델링한다.
• 지속적인 노이즈 하에서 장기적인 분포적 행동을 특성화하기 위해 포크너-플랭크 방정식과 불변 측도를 사용한다.
• 미러 맵과 기울기 함수의 비연속성 문제를 다루기 위해 알렉산드로프의 정리와 모리피케이션 기법을 적용한다.
• 펜첼 쌍대성에 기반한 리아푸노프 유형 분석을 통해 수렴 경계를 도출한다.
• 트레이스 부등식과 기울기의 리프시츠 연속성에 기반해 보정된 미러 강하 변형의 명시적 수렴 속도를 유도한다.
• 에르고딕성과 불변 측도 이론을 활용해 최적 해 주변에서 궤도의 농도를 분석한다.

실험 결과

연구 질문

• RQ1 기울기 입력이 점점 줄어드는 노이즈에 의해 손상되었을 때, 미러 강하 동역학이 최적 해 집합으로 수렴하는 조건은 무엇인가?
• RQ2 지속적인 스토케스틱 교란이 제약 조건이 있는 볼록 프로그램에서의 미러 강하 궤도의 장기적 농도에 어떤 영향을 미치는가?
• RQ3 노이즈 크기나 문제 구조와 무관하게 수렴을 보장할 수 있는 수정된 미러 강하 변형이 존재하는가?
• RQ4 일반적인 볼록 프로그램 하에서 이러한 보정된 변형의 명시적 수렴 속도는 무엇인가?
• RQ5 스토케스틱 동역학의 불변 측도는 최적화 집합과 노이즈 강도와 어떻게 관련이 있는가?

주요 결과

• 노이즈가 점점 줄어드는 극한에서, 미러 강하 동역학은 거의 확실하게 기본 볼록 프로그램의 해 집합으로 수렴한다.
• 지속적인 노이즈 하에서 동역학은 내부 해 주변으로 집중되며, 충분히 '예리한' 경계 해로 수렴한다.
• 보정된 미러 강하 변형은 노이즈 크기나 볼록 프로그램의 구조와 무관하게 수렴을 보장한다.
• 보정된 방법은 기울기의 리프시츠 상수와 노이즈 강도에 따라 의존하는 명시적 수렴 속도 경계를 달성한다.
• 노이즈 동역학의 불변 분포는 $ e^{-2f(x)/\sigma^2} \, dx $ 비례하며, 이는 노이즈가 감소함에 따라 최소화자 근처로 지수적 농도를 의미한다.
• 보정된 변형의 경우, 펜첼 쌍대성은 수렴을 보장하는 드리프트 부등식을 만족하며, 이 경계는 노이즈 공분산 행렬의 트레이스를 포함한다.