[논문 리뷰] Asymptotics of Constant Step Stochastic Approximations Involving Differential Inclusions

Pascal Bianchi, Walid Hachem외 1명|arXiv (Cornell University)|2016. 12. 12.

Markov Chains and Monte Carlo Methods인용 수 1

한 줄 요약

이 논문은 스케일링 파라미터 γ를 가진 마르코프 체인을 통한 일정 단계 확률적 근사(stochastic approximation)를 연구하며, 보간 과정이 위상 수반된 미분 포함(differential inclusion, DI)의 해로 좁게 수렴함을 보여준다. 이는 상한 연속성과 볼록값을 갖는 다중값 함수를 갖는다. 미약한 드리프트 조건 하에서 반복값들은 DI의 Birkhoff 중심으로 수렴하여 장기적 안정성과 에르고딕성을 보장하며, 비볼록 프록시멀 최적화와 큐잉 모델에 적용된다.

ABSTRACT

We consider a Markov chain $(x_n)$ whose kernel is indexed by a scaling parameter $\gamma>0$, refered to as the step size. The aim is to analyze the behavior of the Markov chain in the doubly asymptotic regime where $n o\infty$ then $\gamma o 0$. First, under mild assumptions on the so-called drift of the Markov chain, we show that the interpolated process converges narrowly to the solutions of a Differential Inclusion (DI) involving an upper semicontinuous set-valued map with closed and convex values. Second, we provide verifiable conditions which ensure the stability of the iterates. Third, by putting the above results together, we establish the long run convergence of the iterates as $\gamma o 0$, to the Birkhoff center of the DI. The ergodic behavior of the iterates is also provided. Application examples are investigated. We apply our findings to 1) the problem of nonconvex proximal stochastic optimization and 2) a fluid model of parallel queues.

연구 동기 및 목표

• n→∞ 이후 γ→0 인 영역에서 스케일링 파라미터 γ를 갖는 마르코프 체인의 渐近적 행동을 분석하기 위해.
• 보간 과정이 위상 수반된 미분 포함(DI)의 해로 좁게 수렴할 조건을 설정하기 위해.
• 확률적 근사 알고리즘의 반복값에 대한 검증 가능한 안정성 조건을 유도하기 위해.
• γ→0 일 때 반복값이 DI의 Birkhoff 중심으로 장기적으로 수렴함을 증명하여 에르고딕 행동을 보장하기 위해.

제안 방법

• 스텝 크기 γ에 의존하는 전이 커널을 갖는 마르코프 체인 (x_n)으로 확률적 근사를 모델링하기 위해.
• 이산 시간 마르코프 체인으로부터 연속 시간 과정을 보간을 통해 구성하여 수렴 분석을 가능하게 하기 위해.
• 다중값 해석 도구를 적용하여 보간 과정이 상한 연속성, 닫힘, 그리고 볼록값을 갖는 다중값 함수를 갖는 미분 포함의 해로 좁게 수렴함을 보여주기 위해.
• 마르코프 체인의 드리프트 조건을 검증하여 반복값의 안정성을 확립하기 위해.
• 미분 포함 이론과 Birkhoff 중심 이론을 활용하여 γ→0 일 때 반복값이 Birkhoff 중심으로 수렴함을 증명하기 위해.
• 비볼록 프록시멀 확률적 최적화와 병렬 큐의 유체 모델이라는 두 가지 구체적 문제에 이 프레임워크를 적용하기 위해.

실험 결과

연구 질문

• RQ1 일정 단계 확률적 근사의 보간 과정이 어떤 조건에서 미분 포함의 해로 수렴하는가?
• RQ2 확률적 근사 프레임워크에서 반복값의 안정성을 보장하는 검증 가능한 조건은 무엇인가?
• RQ3 반복값의 장기적 행동은 미분 포함의 Birkhoff 중심과 어떻게 관련이 있는가?
• RQ4 제안된 프레임워크는 비볼록 최적화와 수렴 보장이 가능한 큐잉 시스템에 적용 가능한가?

주요 결과

• 미약한 드리프트 가정 하에서 보간 과정은 상한 연속성, 닫힘, 그리고 볼록값을 갖는 다중값 함수를 갖는 미분 포함의 해로 좁게 수렴한다.
• 드리프트에 대한 검증 가능한 조건은 확률적 근사 과정에서 반복값의 안정성을 보장한다.
• γ→0 일 때 반복값은 미분 포함의 Birkhoff 중심으로 수렴하여 장기 수렴을 보장한다.
• 반복값의 에르고딕 행동이 특징지어지며, 그들의 경험 측도가 Birkhoff 중심에 지지된 불변 측도로 수렴함을 보여준다.
• 비볼록 프록시멀 확률적 최적화에 이 프레임워크가 성공적으로 적용되어 정류점으로 수렴함을 확립한다.
• 병렬 큐의 유체 모델이 분석되었으며, 복잡한 동역학을 갖는 큐잉 시스템에 대한 방법의 적용 가능성을 보여준다.