[논문 리뷰] Probabilistic Contraction Analysis of Iterated Random Operators

Abhishek Gupta, Rahul Jain외 1명|arXiv (Cornell University)|2018. 04. 04.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 완비 거리공간 내에서 반복적인 랜덤 연산자에 의해 생성된 마르코프 체인의 확률적 수렴을 확립하기 위해 새로운 확률적 수축 분석 프레임워크를 제안한다. 독립 동일분포 샘플링 하에서 확률적 지배성과 수축 성질을 활용함으로써, 고정점이 무작위 샘플링 하에서의 극한에서 확률적 고정점이 되며, 이는 연속 상태 MDP에서의 몬테카를로 방법, 예를 들어 피팅된 가치 반복의 수렴 보장을 가능하게 한다.

ABSTRACT

In many branches of engineering, Banach contraction mapping theorem is employed to establish the convergence of certain deterministic algorithms. Randomized versions of these algorithms have been developed that have proved useful in data-driven problems. In a class of randomized algorithms, in each iteration, the contraction map is approximated with an operator that uses independent and identically distributed samples of certain random variables. This leads to iterated random operators acting on an initial point in a complete metric space, and it generates a Markov chain. In this paper, we develop a new stochastic dominance based proof technique, called probabilistic contraction analysis, for establishing the convergence in probability of Markov chains generated by such iterated random operators in certain limiting regime. The methods developed in this paper provides a general framework for understanding convergence of a wide variety of Monte Carlo methods in which contractive property is present. We apply the convergence result to conclude the convergence of fitted value iteration and fitted relative value iteration in continuous state and continuous action Markov decision problems as representative applications of the general framework developed here.

연구 동기 및 목표

• 반복적인 랜덤 연산자를 기반으로 한 몬테카를로 알고리즘의 수렴을 분석하기 위한 일반적 프레임워크를 개발하는 것.
• 확률적 샘플링 하에서 결정론적 수축 연산자의 고정점이 확률적 고정점이 되는 조건을 설정하는 것.
• 최적화 및 강화학습 분야의 다양한 랜덤 알고리즘에 적용 가능한 확률적 지배 기반 증명 기법을 제공하는 것.
• 연속 상태 및 연속 행동을 갖는 마르코프 결정 문제에서 피팅된 가치 반복 및 피팅된 상대 가치 반복의 수렴을 보여주는 것.

제안 방법

• 완비 거리공간 내에서 반복적인 랜덤 연산자의 점근적 행동을 분석하기 위해 확률적 지배 기반의 새로운 증명 기법을 제안한다.
• 표본 수가 증가함에 따라 랜덤 반복이 수렴하는 극한점을 확률적 고정점으로 정의한다.
• 독립 동일분포 샘플링을 활용하여 각 연산자 근사치를 결정론적 사상의 랜덤 편향으로 모델링하고, 수축 사상 성질과 결합한다.
• 할인 비용 및 평균 비용 MDP에서 연속 상태와 행동을 갖는 경험적 가치 반복의 수렴을 증명하기 위해 프레임워크를 적용한다.
• 역행 반복 추론과 불변 분포 분석을 활용하여 랜덤 연산자에 의해 생성된 마르코프 체인의 극한 행동을 특성화한다.
• 표본 수가 증가함에 따라 랜덤 연산자 체인의 불변 분포가 진짜 고정점 주변에 집중되는 조건을 설정한다.

실험 결과

연구 질문

• RQ1 결정론적 수축 연산자의 고정점이 반복적인 랜덤 연산자 하에서 여전히 확률적 고정점으로 유지되는 조건은 무엇인가?
• RQ2 확률적 지배성은 랜덤 연산자에 의해 생성된 마르코프 체인의 수렴을 확률적으로 증명하는 데 어떻게 활용될 수 있는가?
• RQ3 이 확률적 수축 프레임워크를 사용하여 연속 상태 MDP에서 피팅된 가치 반복의 수렴을 위한 충분한 조건는 무엇인가?
• RQ4 반복마다의 표본 수는 진짜 고정점 주변의 랜덤 반복의 집중도에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크 하에서 결정론적 수축 연산자의 고정점이 확률적 고정점임을 입증하였으며, 이는 반복마다 표본 수가 증가함에 따라 반복이 그 고정점으로 확률적으로 수렴함을 의미한다.
• 프레임워크는 할인 비용 및 평균 비용 MDP에서 연속 상태 MDP에 대해 피팅된 가치 반복이 미약한 정규성 조건 하에서 확률적으로 수렴함을 증명한다.
• 특정 생식-죽음 체인 모델에 대해 불변 분포를 명시적으로 계산하였으며, π^Q(0) = (2p^β - 1)/p^β 임을 보였고, 이 값은 p^β ≥ 0.5 일 때 비음수가 된다.
• p > 2β/(2β + 1) 이면 p^β > 0.606 임을 증명하여, 불변 분포가 잘 정의되고 양수임을 보장한다.
• 증명 기법은 블록 단위의 상태에서 불변 분포의 형태를 유도하기 위해 수학적 귀납법을 활용하며, 尾확률의 지수적 감소를 보여준다.
• 이 프레임워크는 계약적 랜덤 연산자를 기반으로 하는 재귀적 확률 알고리즘의 표본 복잡도와 일致성 분석을 위한 일반적 도구를 제공한다.