[논문 리뷰] Stochastic Recursive Inclusions with Non-Additive Iterate-Dependent Markov Noise

Vinayaka G. Yaji, Shalabh Bhatnagar|arXiv (Cornell University)|2016. 07. 16.

Markov Chains and Monte Carlo Methods참고 문헌 15인용 수 4

한 줄 요약

이 논문은 집합값의 기울기 함수와 비가산적이고 반복에 의존하는 마르코프 노이즈를 갖는 확률적 재귀 포함을 연구한다. 이는 재귀의 보간된 궤적(trajectory)이 마르코프 노이즈의 정적 분포에 대해 집합값의 기울기를 평균화하여 형성된 한계 미분 포함의 점근적 가짜궤적(асимптотический псевдотраектория)임을 입증하며, 이는 재귀의 한계집합을 한계 포함의 역학을 통해 특성화할 수 있음을 가능하게 한다.

ABSTRACT

In this paper we study the asymptotic behavior of stochastic approximation schemes with set-valued drift function and non-additive iterate-dependent Markov noise. We show that a linearly interpolated trajectory of such a recursion is an asymptotic pseudotrajectory for the flow of a limiting differential inclusion obtained by averaging the set-valued drift function of the recursion w.r.t. the stationary distributions of the Markov noise. The limit set theorem in [1] is then used to characterize the limit sets of the recursion in terms of the dynamics of the limiting differential inclusion. We then state two variants of the Markov noise assumption under which the analysis of the recursion is similar to the one presented in this paper. Scenarios where our recursion naturally appears are presented as applications. These include controlled stochastic approximation, subgradient descent, approximate drift problem and analysis of discontinuous dynamics all in the presence of non-additive iterate-dependent Markov noise.

연구 동기 및 목표

• 비가산적이고 반복에 의존하는 마르코프 노이즈 하에서 집합값 기울기 함수를 갖는 확률적 근사 방법의 점근적 행동을 분석하는 것.
• 기존의 ODE 방법과 점근적 가짜궤적 프레임워크를 집합값 및 비가산 노이즈 설정으로 확장하는 것.
• 마르코프 노이즈의 정적 분포에 대해 평균화한 방식으로 유도된 한계 미분 포함의 역학을 통해 이러한 재귀의 한계집합을 특성화하는 것.
• 기울기 함수가 불연속적이거나 단지 가측 함수일 경우에도 분석이 유효해지도록 하는 조건을 제공하는 것.

제안 방법

• 논문은 $ X_{n+1} - X_n - a(n)M_{n+1} \in a(n)H(X_n, S_n) $ 로 재귀를 모델링하며, 여기서 $ H $ 는 집합값 함수이고 $ \{S_n\} $ 은 유한 상태 마르코프 노이즈 과정이다.
• 표준 확률적 근사 기법을 적용할 수 있도록 집합값 기울기 $ H $ 를 연속적이고 볼록으로 매개변수화된 집합값 함수 $ H^{(l)} $ 으로 근사한다.
• 한계 미분 포함은 $ \frac{dx}{dt} \in \bar{H}(x) $ 로 정의되며, 여기서 $ \bar{H}(x) $ 는 마르코프 노이즈의 정적 분포에 대해 $ H(x,s) $ 를 평균화한 것이다.
• 재귀의 선형 보간 궤적이 한계 미분 포함의 흐름에 대해 점근적 가짜궤적임을 증명한다.
• 측도값 함수 공간의 메트라이제이션과 근사 함수 $ H^{(l)} $ 의 연속성 특성에 기반하여, 이는 진짜 집합값 함수로 수렴함을 보장한다.
• 한계집합 정리([1] 참조)를 적용하여 재귀의 오메가-한계집합을 한계 미분 포함의 불변집합으로 특성화한다.

실험 결과

연구 질문

• RQ1 집합값 기울기와 비가산적 반복에 의존하는 마르코프 노이즈를 갖는 확률적 재귀가 어떤 조건에서 한계 미분 포함의 역학으로 수렴하는가?
• RQ2 점근적 가짜궤적 프레임워크는 어떻게 집합값 기울기와 비가산 마르코프 노이즈를 다룰 수 있는가?
• RQ3 집합값 설정에서 평균화 원리의 유효성을 보장하기 위해 마르코프 노이즈 과정에 대해 필요한 충분조건는 무엇인가?
• RQ4 기울기 함수가 불연속적이거나 단지 가측 함수일 경우에도 분석을 확장할 수 있는가? 립시츠 또는 홀더 연속성 조건이 필요하지 않다.
• RQ5 마르코프 노이즈의 정적 분포의 구조는 재귀의 한계 행동에 어떻게 영향을 미치는가?

주요 결과

• 재귀의 선형 보간 궤적이 한계 미분 포함 $ \frac{dx}{dt} \in \bar{H}(x) $ 의 흐름에 대해 점근적 가짜궤적임을 입증하며, 여기서 $ \bar{H}(x) $ 는 마르코프 노이즈의 정적 분포에 대해 $ H(x,s) $ 를 평균화한 것이다.
• 재귀의 한계집합은 초기 조건에서 출발하는 한계 미분 포함의 흐름을 통해 도달할 수 있는 모든 점들의 집합으로 특성화된다.
• 기울기 $ H $ 를 근사하는 데 사용된 집합값 함수 $ H^{(l)} $ 는 상부 및 하부 하우스도르프 연속성을 모두 만족하므로 연속적임을 보장하며, 이는 근사 과정의 안정성을 보장한다.
• $ l \to \infty $ 일 때 근사 $ H^{(l)} $ 이 점별로 $ H $ 로 수렴하며, $ H^{(l)}(x,s) $ 의 원소의 노름에 대해 $ 1 + \|x\| $ 비례하는 균일한 유계 조건이 성립한다.
• 마르코프 노이즈에 대해 두 가지 대체 가정을 도입함으로써 분석이 유지됨을 보이며, 이는 [7]의 가정과 유사하며 비유일한 정적 분포와 상태 및 반복 변수에 대한 연속성을 允許한다.
• 연속성과 보렐 가측성 논증을 통해 집합값 함수 $ G(s) = \{ u \in U : h^{(l)}(x,s,u) = f(s) \} $ 의 가측성을 확립하여 확률적 분석의 타당성을 보장한다.