[논문 리뷰] A Fixed Point Theorem for Iterative Random Contraction Operators over Banach Spaces.

Abhishek Gupta, Rahul Jain외 1명|arXiv (Cornell University)|2018. 04. 04.

Fixed Point Theorems Analysis인용 수 1

한 줄 요약

이 논문은 바나흐 공간에서 반복적인 랜덤 수축 연산자가 수많은 표본 수 $n$과 반복 횟수 $k$가 모두 무한으로 갈 때 분포적으로 고정점 $x^\star$에서의 딜라크 측도로 수렴하는 데 충분한 조건을 확립한다. 반복 과정이 고정점 $x^\star$에서 크게 벗어나는 확률에 대한 상계를 도출함으로써, 할인 비용 및 평균 비용을 가진 마코프 결정 과정에서의 확률적 가치 반복 알고리즘에 대한 수렴 보장을 가능하게 한다.

ABSTRACT

Consider a contraction operator $T$ over a complete metric space $\mathcal X$ with the fixed point $x^\star$. In many computational applications, it is difficult to compute $T(x)$; therefore, one replaces the application contraction operator $T$ at iteration $k$ by a random operator $\hat T^n_k$ using $n$ independent and identically distributed samples of a random variable. Consider the Markov chain $(\hat X^n_k)_{k\in\mathbb{N}}$, which is generated by $\hat X^n_{k+1} = \hat T^n_k(\hat X^n_k)$. In this paper, we identify some sufficient conditions under which (i) the distribution of $\hat X^n_k$ converges to a Dirac mass over $x^\star$ as $k$ and $n$ go to infinity, and (ii) the probability that $\hat X^n_k$ is far from $x^\star$ as $k$ goes to infinity can be made arbitrarily small by an appropriate choice of $n$. We also derive an upper bound on the probability that $\hat X^n_k$ is far from $x^\star$ as $k ightarrow \infty$. We apply the result to study the convergence in probability of iterates generated by empirical value iteration algorithms for discounted and average cost Markov decision problems.

연구 동기 및 목표

• 랜덤 수축 연산자가 결정론적 수축 연산자의 고정점으로 분포 수렴하는 조건을 확립하기.
• 반복 횟수가 증가함에 따라 스 tochastic 고정점 반복이 진짜 고정점에서 멀리 떨어져 있을 확률을 정량화하기.
• 큰 반복 횟수의 극한에서 고정점에서의 이격 확률 尾 확률에 대한 비점근적 상계를 제공하기.
• 이론적 결과를 할인 비용 및 평균 비용을 가진 마코프 결정 과정에서의 경험적 가치 반복 알고리즘에 적용하기.

제안 방법

• 반복 과정을 $n$개의 i.i.d. 표본에 기반한 랜덤 연산자 $\hat T^n_k$에 의해 구동되는 마코프 체인 $\hat X^n_k$로 모델링한다.
• 바나흐 공간 내의 수축 사상 원리에 의해 고정점 $x^\star$의 존재성과 유일성을 보장한다.
• 표본 수 $n$에 대해 고확률으로 $\hat T^n_k$가 진짜 연산자 $T$로부터 벗어나지 않도록 하기 위해 농도 부등식을 적용한다.
• 반복 횟수 $k \to \infty$의 극한에서 $\|\hat X^n_k - x^\star\|$가 주어진 임계값을 초과할 확률에 대한 비점근적 상계를 유도한다.
• 마코프 체인의 에르고딕성과 안정성 성질을 조합하여 $x^\star$에서의 델타 측도로의 분포 수렴을 보인다.

실험 결과

연구 질문

• RQ1 반복 횟수 $k$와 표본 수 $n$이 모두 무한으로 갈 때, $\hat X^n_k$의 분포가 고정점 $x^\star$에서의 델타 측도로 수렴하는 조건은 무엇인가?
• RQ2 적절한 $n$을 선택함으로써 $\hat X^n_k$가 $x^\star$에서 멀리 떨어져 있을 확률을 $k \to \infty$일 때 임의로 작게 만들 수 있는가?
• RQ3 큰 $k$의 극한에서 $\hat X^n_k$가 $x^\star$에서 이격될 확률에 대한 비점근적 상계는 무엇인가?
• RQ4 이 이론적 프레임워크는 할인 비용 및 평균 비용을 가진 MDP에서의 경험적 가치 반복 알고리즘의 확률적 수렴을 보장하는 데 적용될 수 있는가?

주요 결과

• 반복 횟수 $k$와 표본 수 $n$이 모두 무한으로 갈 때, $\hat X^n_k$의 분포는 고정점 $x^\star$에서의 델타 측도로 확률 수렴한다.
• 모든 $\epsilon > 0$에 대해, 충분히 큰 $n$이 존재하여 $k \to \infty$일 때 확률 $\mathbb{P}(\|\hat X^n_k - x^\star\| > \epsilon)$를 임의로 작게 만들 수 있다.
• 큰 $k$의 극한에서 $\hat X^n_k$가 고정점 $x^\star$에서 멀리 떨어져 있을 확률에 대한 상계를 유도하였으며, 이는 $n$과 연산자 $T$의 수축 성질에 의존한다.
• 이론적 결과를 바탕으로 할인 비용 및 평균 비용을 가진 마코프 결정 문제에 대한 경험적 가치 반복 알고리즘의 확률적 수렴을 보여주었다.