[論文レビュー] Fatou's Lemma in Its Classic Form and Lebesgue's Convergence Theorems for Varying Measures with Applications to MDPs

Eugene A. Feinberg, Pavlo O. Kasyanov+1 more|arXiv (Cornell University)|Feb 5, 2019

Risk and Portfolio Optimization参考文献 17被引用数 5

ひとこと要約

本稿は、関数が正負の両方の値を取る場合でさえも、弱収束および集合収束する測度の列に対して、ファトゥの補題およびルベーグの収束定理が古典的形で成り立つための十分条件を確立する。主な貢献は、古典的収束結果の一般化であり、これにより平均コストマルコフ決定過程（MDPs）における最適性方程式の証明が、これまでに知られていたよりも広い条件下で可能になる。

ABSTRACT

The classic Fatou lemma states that the lower limit of a sequence of integrals of functions is greater or equal than the integral of the lower limit. It is known that Fatou's lemma for a sequence of weakly converging measures states a weaker inequality because the integral of the lower limit is replaced with the integral of the lower limit in two parameters, where the second parameter is the argument of the functions. This paper provides sufficient conditions when Fatou's lemma holds in its classic form for a sequence of weakly converging measures. The functions can take both positive and negative values. The paper also provides similar results for sequences of setwise converging measures. It also provides Lebesgue's and monotone convergence theorems for sequences of weakly and setwise converging measures. The obtained results are used to prove broad sufficient conditions for the validity of optimality equations for average-cost Markov decision processes.

研究の動機と目的

• 弱収束する測度の列に対して、ファトゥの補題がその古典的形で成り立つための十分条件を特定すること。
• これらの結果を集合収束する測度の列に拡張し、それらの列に対して類似のルベーグの収束定理および単調収束定理を確立すること。
• 一般化された収束定理を用いて、平均コストマルコフ決定過程（MDPs）における最適性方程式の妥当性を示す広範な十分条件を導出すること。
• 従来の仮定（特に等連続性および連続性）を緩和し、より一般な代替条件として下界半連続性条件（LEC）を導入すること。

提案手法

• 著者らは、関数列の下界半連続性（LEC）の概念を導入し、これにより等連続性を一般化し、不連続な極限を許容する。
• LECおよび有界性の条件下で、弱収束におけるファトゥの補題の二重下限が標準的なliminfに簡略化されることを確立する。これにより、不等式の古典的形が回復される。
• 測度の弱収束および集合収束における積分の挙動を分析するため、二変数における積分の下限と下限の積分を比較する手法を用いる。
• 分布収束、全 Variation、ボレル可測空間などの測度論的道具を用い、拡張実数値関数の積分を扱う。
• MDPsへの応用では、割合係数α → 1における割合価値関数を分析し、収束定理を用いて平均コスト極限に移行する。
• 主要な技術的道具は一様可積分性および積分の収束を制御するための下界半連続上界関数の使用である。

実験結果

リサーチクエスチョン

• RQ1 関数が正負の両方の値を取る場合でさえも、弱収束する測度の列に対してファトゥの補題がその古典的形で成り立つのはどのような条件下か？
• RQ2 ルベーグの収束定理および単調収束定理は、弱収束および集合収束する測度の列にどのように拡張できるか？
• RQ3 価値関数の列および遷移核にどのような条件を課すと、MDPsにおける平均コスト最適性方程式の妥当性が保証されるか？
• RQ4 従来のMDP収束結果における等連続性仮定を緩和できるか？ もし可能であれば、どのような代替条件下で可能か？
• RQ5 新たな仮定（例：LEC）は、連続性や等連続性といった既存の仮定と比べて、どれほど強いのか？

主な発見

• 関数列が下界半連続性（LEC）かつ一様可積分性を満たす場合、弱収束する測度の列に対してファトゥの補題はその古典的形で成り立つ。
• 本稿では、左辺が二重下限を含む一般化されたファトゥの補題を確立し、LEC条件のもとでこれが標準的なliminfに簡略化されることを示した。
• LECおよび有界性の仮定のもとで、ルベーグの収束定理および単調収束定理が弱収束および集合収束する測度の列に拡張された。
• 平均コスト最適性方程式（ACOE）は、新たな条件W*、B、およびLEC（ii,iii）のもとで妥当であることが証明された。これらは従来の仮定（EC：等連続性、W*：連続性）よりも厳密に弱い。
• 値関数が不連続であるにもかかわらずACOEが成り立つ例が構成され、LECがECよりも厳密に一般であることを示した。
• 結果は、長期平均コストを伴うMDPsに適用され、広範かつ検証可能な条件下で、定常方策がACOEを満たすことを証明した。