[论文解读] A Fixed Point Theorem for Iterative Random Contraction Operators over Banach Spaces.

Abhishek Gupta, Rahul Jain+1 more|arXiv (Cornell University)|Apr 4, 2018

Fixed Point Theorems Analysis被引用 1

一句话总结

本文建立了在迭代随机收缩算子作用于巴拿赫空间时，当样本数 $n$ 和迭代次数 $k$ 同时趋于无穷大时，其分布收敛于在固定点 $x^\star$ 处的狄拉克测度的充分条件。它推导出迭代值与 $x^\star$ 显著偏离的概率上界，从而为马尔可夫决策过程中的随机值迭代提供了概率收敛保证。

ABSTRACT

Consider a contraction operator $T$ over a complete metric space $\mathcal X$ with the fixed point $x^\star$. In many computational applications, it is difficult to compute $T(x)$; therefore, one replaces the application contraction operator $T$ at iteration $k$ by a random operator $\hat T^n_k$ using $n$ independent and identically distributed samples of a random variable. Consider the Markov chain $(\hat X^n_k)_{k\in\mathbb{N}}$, which is generated by $\hat X^n_{k+1} = \hat T^n_k(\hat X^n_k)$. In this paper, we identify some sufficient conditions under which (i) the distribution of $\hat X^n_k$ converges to a Dirac mass over $x^\star$ as $k$ and $n$ go to infinity, and (ii) the probability that $\hat X^n_k$ is far from $x^\star$ as $k$ goes to infinity can be made arbitrarily small by an appropriate choice of $n$. We also derive an upper bound on the probability that $\hat X^n_k$ is far from $x^\star$ as $k ightarrow \infty$. We apply the result to study the convergence in probability of iterates generated by empirical value iteration algorithms for discounted and average cost Markov decision problems.

研究动机与目标

• 建立随机收缩算子收敛于确定性收缩算子的不动点的条件。
• 量化随着迭代次数增加，随机不动点迭代值远离真实不动点的概率。
• 在迭代次数和样本量趋于无穷的极限下，给出偏离不动点的尾部概率的非渐近上界。
• 将理论结果应用于带折扣成本和平均成本的马尔可夫决策过程中的经验值迭代算法。

提出的方法

• 将迭代过程建模为由 $n$ 个独立同分布样本驱动的随机算子 $\hat T^n_k$ 所生成的马尔可夫链 $\hat X^n_k$。
• 利用巴拿赫空间中的压缩映射原理，确保不动点 $x^\star$ 的存在性与唯一性。
• 应用浓度不等式，以高概率控制 $\hat T^n_k$ 相对于真实算子 $T$ 的偏离程度。
• 推导出当 $k \to \infty$ 时，$\|\hat X^n_k - x^\star\|$ 超过给定阈值的概率的非渐近上界。
• 结合马尔可夫链的遍历性与稳定性性质，证明其分布收敛于 $x^\star$ 处的狄拉克测度。

实验结果

研究问题

• RQ1 当 $k, n \to \infty$ 时，$\hat X^n_k$ 的分布在何种条件下收敛于 $x^\star$ 处的狄拉克测度？
• RQ2 通过适当选择 $n$，如何使 $\hat X^n_k$ 远离 $x^\star$ 的概率变得任意小？
• RQ3 在迭代次数 $k$ 很大的极限下，$\hat X^n_k$ 偏离 $x^\star$ 的概率的非渐近上界是什么？
• RQ4 该理论框架能否用于确保马尔可夫决策过程中经验值迭代算法的概率收敛性？

主要发现

• 当 $k$ 和 $n$ 同时趋于无穷大时，$\hat X^n_k$ 的分布以概率收敛于 $x^\star$ 处的狄拉克测度。
• 对任意 $\epsilon > 0$，存在足够大的 $n$，使得当 $k \to \infty$ 时，概率 $\mathbb{P}(\|\hat X^n_k - x^\star\| > \epsilon)$ 可以变得任意小。
• 推导出在 $k$ 很大时，$\hat X^n_k$ 保持远离 $x^\star$ 的概率的上界，其依赖于 $n$ 和算子 $T$ 的压缩性质。
• 理论结果被应用于证明带折扣成本和平均成本的马尔可夫决策问题中经验值迭代算法的概率收敛性。