[논문 리뷰] Theoretical analysis of a Stochastic Approximation approach for computing Quasi-Stationary distributions

José Blanchet, Peter W. Glynn외 1명|arXiv (Cornell University)|2014. 01. 02.

Scientific Research and Discoveries참고 문헌 5인용 수 4

한 줄 요약

이 논문은 행렬 연산을 명시적으로 사용하지 않고 마르코프 체인에서 준정적분포를 계산하기 위한 확률적 근사 프레임워크를 제안하며, 수렴성과 추정기의 중심극한정리(CLT)를 증명한다. 수렴 속도가 매우 느린 경우를 특정하고, 폴리악-르퍼트 평균화를 사용한 투영 및 평균화된 변형을 도입하며, 수치 실험을 통해 개선된 알고리즘이 고차원 또는 조건이 나쁜 시스템에서 특히 빠른 수렴 속도를 달성함을 보여준다.

ABSTRACT

This paper studies a method, which has been proposed in the Physics literature by [8, 7, 10], for estimating the quasi-stationary distribution. In contrast to existing methods in eigenvector estimation, the method eliminates the need for explicit transition matrix manipulation to extract the principal eigenvector. Our paper analyzes the algorithm by casting it as a stochastic approximation algorithm (Robbins-Monro) [23, 16]. In doing so, we prove its convergence and obtain its rate of convergence. Based on this insight, we also give an example where the rate of convergence is very slow. This problem can be alleviated by using an improved version of the algorithm that is given in this paper. Numerical experiments are described that demonstrate the effectiveness of this improved method.

연구 동기 및 목표

• 상호작용 입자 시스템에서 준정적분포를 추정하기 위해 물리학 문헌에서 제안된 히우리스틱 샘플링 기반 방법에 대한 이론적 기반을 제공하기 위해.
• 기존 연구에서 고려된 특정 기능성에 국한되지 않고, 추정기의 수렴성과 일반적인 중심극한정리(CLT)를 수립하기 위해.
• 원래 알고리즘이 매우 느린 수렴을 보이는 조건, 특히 고유값이 잘 분리되어 있지 않을 경우를 특정하기 위해.
• 투영과 반복값 평균화 (폴리악-르퍼트)를 사용한 개선된 알고리즘을 개발하고 분석하여, 모든 상황에서 유효한 CLT를 보장하기 위해.
• 루프가 있는 체인, M/M/1 큐, 접촉 프로세스에 대한 수치 실험을 통해 개선된 방법을 검증하기 위해.

제안 방법

• 알고리즘은 콜모고로프 전진방정식과 경로 관측의 경험적 평균에서 유도된 업데이트 규칙을 갖는 로빈스-몬로 확률적 근사 과정으로 재구성된다.
• 마팅게일 극한 이론과 ODE 방법을 사용하여 수렴성을 증명하며, 경험적 측도가 진짜 준정적분포로 거의 확실히 수렴함을 보여준다.
• 일반적인 조건 하에서 추정기의 중심극한정리(CLT)를 수립하며, 비주요 좌측 고유벡터와 관련된 기능성에 국한되지 않는다.
• 개선된 알고리즘은 유한성을 보장하기 위해 투영을 적용하고, 점진적 분산을 줄이며 수렴 속도를 높이기 위해 반복값 평균화 (폴리악-르퍼트)를 사용한다.
• 연속시간 버전은 속도 행렬 $ Q $ 를 갖는 해당하는 ODE 시스템을 유도하여 분석하며, 급수 전개를 사용하여 $ \exp(-Q)^{-1} $ 이 음이 아닌 성분을 가짐을 증명한다.
• 이론적 결과는 부분확률 또는 속도 행렬에 대해 페론-프로베니우스 정리를 기반으로 하며, 주요 좌측 고유벡터의 존재성과 유일성을 보장한다.

실험 결과

연구 질문

• RQ1 준정적분포를 위한 원래의 확률적 근사 알고리즘이 수렴하는 조건은 무엇이며, 그 수렴 속도는 어떻게 되는가?
• RQ2 원래 알고리즘이 특정 경우에 매우 느린 수렴을 보이는 이유는 무엇이며, 전이행렬의 어떤 구조적 특성이 이를 초래하는가?
• RQ3 모든 상황에서 유효한 중심극한정리와 더 빠른 수렴을 보장할 수 있도록 알고리즘의 수정된 버전을 구성할 수 있는가?
• RQ4 개선된 알고리즘은 고차원 또는 조건이 나쁜 시스템에서 원래 알고리즘과 비교해 어떻게 성능이 뛰어나게 되는가?
• RQ5 원래 알고리즘에서 실패하는 경우, 특히 고유값이 스펙트럴 갭 근처에 있을 때 이론적 CLT가 개선된 알고리즘에 대해 성립하는가?

주요 결과

• 원래 알고리즘은 공식적으로 확률적 근사 과정으로 재정의되어, 이전의 히우리스틱적이거나 우른 과정 기반 결과를 초월해 엄밀한 수렴성과 CLT 분석이 가능해졌다.
• 모든 기능성에 대해 유효한 일반 중심극한정리가 수립되었으며, 비주요 좌측 고유벡터와 관련된 기능성에 국한되지 않아 적용 범위가 크게 넓어졌다.
• 논문은 스펙트럴 갭이 작거나 고유값이 뭉쳐 있을 경우와 같은 특정 상황을 특정하며, 이 경우 원래 알고리즘의 수렴 속도가 매우 느려진다.
• 투영과 폴리악-르퍼트 반복값 평균화를 사용한 개선된 알고리즘은 더 빠른 수렴 속도를 달성하고, 문제 상황에서도 유효한 CLT를 보장한다.
• 루프가 있는 체인, M/M/1 큐, 접촉 프로세스에 대한 수치 실험을 통해 개선된 알고리즘이 원래 알고리즘보다 수십만 배 빠른 수렴 속도를 보임을 확인하였으며, 특히 과부하 또는 고차원 설정에서 두드러진다.
• 연속시간 버전의 알고리즘이 유사한 조건 하에서 수렴함을 보였으며, $ \exp(-Q)^{-1} $ 이 음이 아닌 성분을 가짐을 증명하여 ODE 근사의 타당성을 확보하였다.