[논문 리뷰] On the convergence of mirror descent beyond stochastic convex programming

Zhengyuan Zhou, Panayotis Mertikopoulos외 3명|arXiv (Cornell University)|2017. 06. 18.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 3

한 줄 요약

이 논문은 볼록성보다 더 약한 조건인 변분 일관성(variational coherence) 하에 스 tochastic mirror descent(SMD)의 거의 확실 수렴을 확립한다. 이는 비볼록 문제에서도 SMD의 마지막 반복값이 거의 확실하게 전역 최솟값으로 수렴함을 보여주며, 특히 급격한 최솟값을 가진 문제에서는 지속적인 기울기 노이즈가 존재하더라도 유한한 단계 내에 최솟값에 도달함을 보여준다.

ABSTRACT

In this paper, we examine the convergence of mirror descent in a class of stochastic optimization problems that are not necessarily convex (or even quasi-convex), and which we call variationally coherent. Since the standard technique of "ergodic averaging" offers no tangible benefits beyond convex programming, we focus directly on the algorithm's last generated sample (its "last iterate"), and we show that it converges with probabiility $1$ if the underlying problem is coherent. We further consider a localized version of variational coherence which ensures local convergence of stochastic mirror descent (SMD) with high probability. These results contribute to the landscape of non-convex stochastic optimization by showing that (quasi-)convexity is not essential for convergence to a global minimum: rather, variational coherence, a much weaker requirement, suffices. Finally, building on the above, we reveal an interesting insight regarding the convergence speed of SMD: in problems with sharp minima (such as generic linear programs or concave minimization problems), SMD reaches a minimum point in a finite number of steps (a.s.), even in the presence of persistent gradient noise. This result is to be contrasted with existing black-box convergence rate estimates that are only asymptotic.

연구 동기 및 목표

• 표준 볼록성 가정이 성립하지 않는 비볼록 최적화 문제에서 stochastic mirror descent(SMD)의 수렴성을 분석하는 것.
• SMD의 마지막 반복값이 전역 최솟값으로 수렴함을 보장하는 볼록성 또는 준볼록성보다 더 약한 조건을 특정하는 것.
• 전역 볼록성이 실패하는 다모드 설정에서 특히 국소 일관성 문제로의 수렴 분석을 확장하는 것.
• 지속적인 기울기 노이즈 하에서 급격한 최솟값을 가진 문제에서 SMD의 유한 시간 수렴 행동을 조사하는 것.
• 비볼록 설정에서 에르고딕 평균화가 필요 없음을 보이며, 변분 일관성 하에 마지막 반복값만으로도 수렴이 가능함을 보여주는 것.

제안 방법

• 단조성과 볼록성의 일반화로 '변분 일관성'의 개념을 도입하여, 볼록 프로그램을 초월한 수렴 분석을 가능하게 한다.
• 거의 모든 경우에서 사용 가능한 미러 맵을 활용해 타겟 집합에 기울기 업데이트를 투영하는 '이중 평균화'(또는 '게으른') SMD 변형을 분석한다.
• 양의 정부호성과 상호성 성질을 활용해 최적 집합 향한 진전을 추적하기 위해 Fenchel 쌍대성 기반 리아푸노프 함수를 사용한다.
• 마팅게일 수렴 정리와 마팅게일 차이에 대한 대수의 법칙을 적용하여 마지막 반복값의 거의 확실 수렴을 보인다.
• 국소 볼록성이 실패하는 비볼록, 다모드 문제를 다루기 위해 변분 일관성의 국소화된 버전을 도입한다.
• 안정성과 노이즈 존재 하에서의 수렴을 보장하기 위해 유한한 $L^2$-노름 기울기 샘플과 제곱 합계가 가능한 스텝 사이즈를 사용한다.

실험 결과

연구 질문

• RQ1 SMD가 볼록성 또는 준볼록성을 요구하지 않는 비볼록 문제에서 전역 최솟값으로 수렴할 수 있는가?
• RQ2 볼록성보다 더 약한 조건에서 SMD의 마지막 반복값이 거의 확실하게 수렴하는가?
• RQ3 더 약한 구조적 조건인 변분 일관성이 SMD의 마지막 반복값의 거의 확실 수렴을 보장하는가?
• RQ4 지속적인 기울기 노이즈 하에서 급격한 최솟값을 가진 문제에서 SMD의 수렴 행동은 어떠한가?
• RQ5 최솟값이 국소적으로 볼록이 아닌 비볼록 문제에서 국소 수렴을 보장할 수 있는가?

주요 결과

• 변분 일관성 하에, stochastic mirror descent의 마지막 반복값은 비볼록 문제에서도 거의 확실하게 전역 최솟값으로 수렴한다.
• 에르고딕 평균화 없이도 수렴이 확립되며, 직접적으로 마지막으로 생성된 샘플을 분석함으로써 비볼록 설정에서 더 자연스러운 접근이 가능하다.
• 예를 들어 일반 선형 프로그래밍이나 볼록 함수의 최소화 문제처럼 급격한 최솟값을 가진 문제에서는, 지속적인 기울기 노이즈가 존재하더라도 SMD가 거의 확실하게 유한한 단계 내에 최솟값에 도달한다.
• 변분 일관성의 국소화된 버전은 최솟값이 국소적으로 볼록이 아니더라도 SMD의 국소 수렴을 높은 확률로 보장한다.
• 분석 결과, (준)볼록성은 수렴에 필수적이지 않으며, 변분 일관성은 충분하고 엄밀히 더 약한 조건임을 밝혀냈다.
• Fenchel 쌍대성가 리아푸노프 함수로 사용되었으며, 반복값이 거의 확실하게 무한히 자주 최적 집합 근처에 진입하고 그 자리에 머무름을 보여주기 위해 그 재귀 성질이 활용되었다.