[논문 리뷰] Quasi-Stationary Distributions for Stochastic Approximation Algorithms with constant step size

Bastien Marmet|arXiv (Cornell University)|2013. 03. 28.

Stochastic processes and financial applications참고 문헌 14인용 수 3

한 줄 요약

이 논문은 일정 단계 크기를 갖는 이산 시간 확률적 근사 알고리즘의 준정적분포(QSDs)를 연구하며, 시스템을 미분방정식(ODE)의 확률적 편향으로 모델링한다. 대규모 이탈 조건과 ODE에 내부 안착점이 존재할 경우, QSD의 약한* 극한점이 내부 안착점에 지지된 불변 측도임을 증명하며, 멸종 시간은 시스템 크기 N에 대해 지수적으로 증가한다.

ABSTRACT

In this paper we investigate quasi-stationary distributions μ_N of stochastic approximation algorithms with constant step size which can be viewed as random perturbations of a time-continuous dynamical system. Inspired by ecological models these processes have a closed absorbing set corresponding to extinction. Under some large deviation assumptions and the existence of an interior attractor for the ODE, we show that the weak* limit points of the QSD μ_N are invariant measures for the ODE with support in the interior attractors.

연구 동기 및 목표

• 일정 단계 크기를 갖는 확률적 근사 알고리즘의 장기적 행동을 이해하기 위해, 특히 멸종 흡수 상태를 갖는 시스템에서의 행동을 분석한다.
• 시스템 크기 N이 증가함에 따라 준정적분포(QSDs)의 수렴성을 조사한다.
• 내부 안착점이 존재할 경우, 기저 ODE의 불변 측도로써 QSD의 극한 측도를 특성화한다.
• 극한 측도의 지지가 멸종 경계에서 멀리 떨어진 안착점 내에 포함되는 조건을 설정한다.

제안 방법

• 스케일링된 단형 Δ_N 위의 이산 시간 마코프 체인으로 확률적 과정을 모델링하며, 평균 장력 F와 마링갈 소음 U_n^N에 의해 결정되는 증분을 갖는다.
• 연속 시간 보간 ĥX^N(t)을 사용하여 확률적 궤적을 F에 의해 유도된 결정론적 흐름 φ_t와 비교한다.
• 대규모 이탈 원리(Large deviation principles)를 적용하여 퇴출 시간과 흡수 확률을 분석하며, 특히 경계 근처에서의 행동을 다룬다.
• 흡수를 유지하는 의사 궤적을 도입하여, 대규모 이탈 함수의 체인-재귀성과 콘리의 δ-T 체인-재귀성 간의 관계를 규명한다.
• 약한* 수렴을 사용하여 N → ∞일 때 QSD μ^N의 극한점들을 연구한다.
• 페르로-프로베니우스 정리와 야글롬 극한 결과를 활용하여 QSD와 그 수렴 성질을 특성화한다.

실험 결과

연구 질문

• RQ1 일정 단계 크기를 갖는 확률적 근사 알고리즘의 준정적분포가 기저 ODE의 불변 측도로 수렴하는 조건은 무엇인가?
• RQ2 ODE에 내부 안착점이 존재할 경우, 멸종까지의 기대 시간은 시스템 크기 N에 따라 어떻게 변화하는가?
• RQ3 QSD의 극한 측도의 지지는 무엇이며, 어떤 조건에서 멸종 경계에서 멀리 떨어진 안착점 내에 포함되는가?
• RQ4 흡수와 준안정성의 맥락에서 대규모 이탈 원리와 체인-재귀 개념은 어떻게 관련되어 있는가?

주요 결과

• 내부 안착점이 존재할 경우, 준정적분포 μ^N의 약한* 극한점은 ODE에 대해 불변 측도이며, 내부 안착점에 지지된다.
• 주어진 대규모 이탈 조건과 ODE 안착점 가정 하에서, μ^N에 의해 초기화된 시스템의 멸종까지 기대 시간은 N에 대해 지수적으로 증가한다.
• 추가적인 대규모 이탈 가정 하에서, 극한 불변 측도의 지지는 멸종 경계에서 멀리 떨어진 안착점 내에 포함된다.
• 대규모 이탈 함수와 콘리의 δ-T 체인-재귀의 수정된 형태 간의 비교를 통해 QSD가 불변 측도로 수렴하는 것이 입증된다.
• 이 결과는 Faure와 Schreiber의 이산 시간 편향 시스템에 대한 결과를 일정 단계 크기를 갖는 연속 시간 유사 확률적 근사 과정으로 확장한다.