[논문 리뷰] Verifiable Conditions for Irreducibility, Aperiodicity and T-chain Property of a General Markov Chain

Alexandre Chotard, Anne Auger|arXiv (Cornell University)|2015. 10. 29.

Optimization and Search Problems인용 수 5

한 줄 요약

이 논문은 C¹ 전이 함수 F와 가능한 비연속적 제어 함수 α로 정의된 일반적인 비선형 마르코프 체인에 대해, ϕ-기약성, 비주기성, T-체인 성질이 성립하기 위한 충분조건을 설정한다. 강력한 전역적으로 끌리는 상태의 개념을 도입하고, k번째 전이 함수가 k-경로를 따라 분면이 되도록 요구함으로써, 이전 연구보다 더 약한 미분 가능성 조건 하에서 기약성과 안정성 성질을 증명한다. 이는 적응형 확률적 최적화에의 응용 가능성을 열어준다.

ABSTRACT

We consider in this paper Markov chains on a state space being an open subset of R n that obey the following general non linear state space model: Φt+1 = F (Φt, α(Φt, Ut+1)) , t ∈ N, where (Ut) t∈N * (each Ut ∈ R p) are i.i.d. random vectors, the function α, taking values in R m , is a measurable typically discontinuous function and (x, w) → F (x, w) is a C 1 function. In the spirit of the results presented in the chapter 7 of the Meyn and Tweedie book on Markov Chains and Stochastic Stability , we use the underlying deterministic control model to provide sufficient conditions that imply that the chain is a ϕ-irreducible, aperiodic T-chain with the support of the maximal irreducibility measure that has a non empty interior. To be able to show the same properties using previous results would require that the overall update function (x, u) → F (x, α(x, u)) is C ∞ and that U1 admits a lower semi-continuous density. In contrast, we assume that the function (x, w) → F (x, w) is C 1 , and that for all x, α(x, U1) admits a density px such that the function (x, w) → px(w) is lower semi-continuous. Hence the function (x, u) → F (x, α(x, u)) may have discontinuities captured by the function α. We introduce the notion of a strongly globally attracting state and we prove that if there exists a strongly globally attracting state and a time step k, such that we find a k-path such that the k th transition function starting from x * , F k (x * , .), is a submersion at this k-path, the chain is a ϕ-irreducible, aperiodic, T-chain. We present two applications of our results to Markov chains arising in the context of adaptive stochastic search algorithms to optimize continuous functions in a black-box scenario.

연구 동기 및 목표

• 열린 R^n 부분집합에서의 일반 마르코프 체인에 대해 ϕ-기약성, 비주기성, T-체인 성질을 확인할 수 있는 검증 가능한 조건을 확립하기 위해.
• Meyn과 Tweedie의 프레임워크에서 기존 결과보다 전체 업데이트 함수 (x,u) → F(x,α(x,u))에 대한 부드러움 조건을 완화하기 위해.
• 제어 함수 α가 비연속적일 수 있는 블랙박스 최적화 설정에서 적응형 확률적 탐색 알고리즘의 분석을 가능하게 하기 위해.
• 기본적인 구조적 가정으로서 강력한 전역적으로 끌리는 상태의 개념을 도입하기 위해.
• 제어 메커니즘에 대한 최소한의 정규성 조건 하에서도 확률적 알고리즘의 안정성과 수렴성에 대한 이론적 기반을 제공하기 위해.

제안 방법

• i.i.d. R^p에 값을 가진 랜덤 벡터 (Ut)를 사용하여 비선형 상태공간 시스템으로 마르코프 체인 모델링: Φt+1 = F(Φt, α(Φt, Ut+1)).
• F는 (x,w)에 대해 C¹이면서, 각 x에 대해 α(x,U1)의 분포가 px(w)로 하방 연속인 밀도를 가짐을 가정한다.
• 강력한 전역적으로 끌리는 상태 x*를 도입하여, 결정론적 제어 하에서 궤적이 x*로 수렴함을 보장한다.
• x*에서 출발하는 k-경로를 정의하여, k번째 전이 함수 F^k(x*, ·)가 경로의 이미지에서 분면이 되도록 보장함으로써 국소적 전사성을 확보한다.
• 분면 성질을 이용하여 체인이 상태공간의 임의의 근방으로 양의 확률로 도달할 수 있음을 증명한다.
• 결정론적 제어 모델을 활용하여, 전체 업데이트 함수가 C∞이거나 밀도 하한이 존재하지 않아도 되는 조건에서 확률적 기약성과 비주기성을 도출한다.

실험 결과

연구 질문

• RQ1 비연속적 제어를 가진 일반적인 비선형 마르코프 체인이 ϕ-기약성과 비주기성을 보일 수 있는 조건은 무엇인가?
• RQ2 전체 업데이트 함수 (x,u) → F(x,α(x,u))가 C∞가 아니거나 하방 연속인 밀도를 갖지 않을 경우, T-체인 성질은 어떻게 확립할 수 있는가?
• RQ3 강력한 전역적으로 끌리는 상태의 존재가 체인의 장기적 안정성과 도달 가능성에 어떤 역할을 하는가?
• RQ4 k번째 전이 맵 F^k(x*, ·)가 k-경로에서 분면 조건을 만족하면, 더 약한 미분 가능성 조건 하에서도 원하는 에르고딕 성질을 보장할 수 있는가?
• RQ5 이 조건들은 어떤 방식으로 비연속적 업데이트 규칙을 가진 적응형 확률적 탐색 알고리즘에 대한 마르코프 체인 안정성 이론의 적용 가능성을 확장하는가?

주요 결과

• 강력한 전역적으로 끌리는 상태 x*가 존재하고, F^k(x*, ·)가 경로의 이미지에서 분면이 되는 k-경로가 존재하면 체인은 ϕ-기약성임을 보장한다.
• 비주기성은 k번째 전이 맵이 분면인 k-경로가 존재함으로써 유도되며, 이는 체인이 주기적 행동에 갇히지 않음을 보장한다.
• 최대 기약성 조건의 지지집합 내부가 비어있지 않으면서, 분면 조건과 x*의 전역적 끌림 성질로부터 T-체인이 성립함을 보장한다.
• 이전 연구보다 더 약한 가정 조건 하에서도 결과가 성립한다: F는 C¹이면 충분하고, α(x,U1)의 밀도는 w에 대해 하방 연속이면 충분하다.
• 이 프레임워크는 제어 함수 α가 선택 또는 임계값 규칙로 인해 비연속적일 수 있는 블랙박스 최적화에서의 적응형 확률적 탐색 알고리즘에 적용 가능하다.
• 전체 업데이트 함수 (x,u) → F(x,α(x,u))가 C∞여야 하거나 U1이 하방 연속인 밀도를 가져야 한다는 요구를 피함으로써, 실제 세계의 확률적 알고리즘에 대한 적용 가능성을 넓힌다.