[论文解读] Fatou's Lemma in Its Classic Form and Lebesgue's Convergence Theorems for Varying Measures with Applications to MDPs

Eugene A. Feinberg, Pavlo O. Kasyanov+1 more|arXiv (Cornell University)|Feb 5, 2019

Risk and Portfolio Optimization参考文献 17被引用 5

一句话总结

本文建立了在测度序列弱收敛与集列收敛时，Fatou引理和Lebesgue收敛定理以经典形式成立的充分条件，即使函数取正值和负值亦成立。关键贡献在于对经典收敛结果的推广，使得在比以往更广泛条件下，能够证明平均成本马尔可夫决策过程（MDPs）中最优性方程的成立性。

ABSTRACT

The classic Fatou lemma states that the lower limit of a sequence of integrals of functions is greater or equal than the integral of the lower limit. It is known that Fatou's lemma for a sequence of weakly converging measures states a weaker inequality because the integral of the lower limit is replaced with the integral of the lower limit in two parameters, where the second parameter is the argument of the functions. This paper provides sufficient conditions when Fatou's lemma holds in its classic form for a sequence of weakly converging measures. The functions can take both positive and negative values. The paper also provides similar results for sequences of setwise converging measures. It also provides Lebesgue's and monotone convergence theorems for sequences of weakly and setwise converging measures. The obtained results are used to prove broad sufficient conditions for the validity of optimality equations for average-cost Markov decision processes.

研究动机与目标

• 确定Fatou引理由其经典形式在弱收敛测度序列下成立的充分条件。
• 将这些结果扩展至集列收敛测度，并为这类序列建立类似Lebesgue和单调收敛定理的版本。
• 将推广的收敛定理应用于推导平均成本马尔可夫决策过程（MDPs）中最优性方程有效性的广泛充分条件。
• 通过引入下半连续一致性的条件（LEC）作为更一般的替代方案，放宽先前的假设——特别是等度连续性和连续性。

提出的方法

• 作者引入了函数序列下一半连续一致性的概念（LEC），该概念推广了等度连续性，并允许极限函数具有不连续性。
• 他们证明，在LEC和有界性条件下，弱收敛下Fatou引理中的双重下极限下确界可简化为标准的liminf，从而恢复经典不等式形式。
• 该方法通过比较两个变量中积分的下极限与下极限的积分，分析在弱收敛与集列收敛下积分的行为。
• 该方法使用测度论工具，包括分布收敛、总 variation 范数以及Borel可测空间，以处理扩展实值函数的积分。
• 在MDPs中应用该框架时，通过分析α → 1时的折扣值函数，利用收敛定理过渡到平均成本极限。
• 关键技术工具包括一致可积性以及使用下半连续上界函数来控制积分的收敛性。

实验结果

研究问题

• RQ1 在函数取正值和负值的情况下，Fatou引理由其经典形式在弱收敛测度序列下成立的条件是什么？
• RQ2 Lebesgue和单调收敛定理如何推广至弱收敛与集列收敛测度序列？
• RQ3 对值函数序列和转移核的何种条件可确保MDPs中平均成本最优性方程的有效性？
• RQ4 先前MDP收敛结果中的等度连续性假设能否被放宽？若能，其替代条件为何？
• RQ5 新条件（如LEC）与现有假设（如连续性或等度连续性）相比，在强度上如何？

主要发现

• 若函数序列具有下一半连续一致性且一致可积，则Fatou引理由其经典形式在弱收敛测度下成立。
• 本文建立了广义的Fatou引理，其左端涉及双重下极限下确界，该形式在LEC条件下可简化为标准的liminf。
• 在LEC和有界性假设下，Lebesgue和单调收敛定理被推广至弱收敛与集列收敛测度序列。
• 平均成本最优性方程（ACOE）在新条件W*、B和LEC（ii,iii）下被证明成立，这些条件严格弱于先前假设如EC（等度连续性）或W*（连续性）。
• 构造了一个例子，其中尽管值函数不连续，ACOE仍成立，表明LEC严格强于EC。
• 结果被应用于具有长期平均成本的MDPs，证明在广泛且可验证的条件下，存在满足ACOE的平稳策略。