[论文解读] Finite-length Analysis on Tail probability for Markov Chain and Application to Simple Hypothesis Testing

Shun Watanabe, Masahito Hayashi|arXiv (Cornell University)|Jan 16, 2014

Markov Chains and Monte Carlo Methods参考文献 22被引用 9

一句话总结

本文利用信息几何方法，为马尔可夫链样本均值的尾概率推导出有限长度的界，通过累积量生成函数（CGF）的紧致上下界，得到在指数约束下简单假设检验中第二类错误概率的 O(1) 可计算、渐近紧致估计。该方法恢复了霍夫丁型界，并为马尔可夫链的中心极限定理提供了新证明。

ABSTRACT

Using terminologies of information geometry, we derive upper and lower bounds of the tail probability of the sample mean. Employing these bounds, we obtain upper and lower bounds of the minimum error probability of the 2nd kind of error under the exponential constraint for the error probability of the 1st kind of error in a simple hypothesis testing for a finite-length Markov chain, which yields the Hoeffding type bound. For these derivations, we derive upper and lower bounds of cumulant generating function for Markov chain. As a byproduct, we obtain another simple proof of central limit theorem for Markov chain.

研究动机与目标

• 推导有限长度马尔可夫链中样本均值尾概率的有限长度上下界。
• 在第一类错误概率的指数约束下，发展第二类错误概率的 O(1) 可计算界。
• 确保在中心极限、中等偏差和大偏差情形下具有渐近紧致性。
• 将贝里-埃森定理推广至马尔可夫链，并利用累积量生成函数界为马尔可夫链的中心极限定理提供新证明。
• 将信息几何工具——相对熵、相对 R{\'e}nyi 熵、指数族——应用于马尔可夫过程的分析。

提出的方法

• 利用信息几何方法，基于转移矩阵和平稳分布，推导马尔可夫链累积量生成函数（CGF）的界。
• 采用指数族中的自然参数与期望参数形式，表达 CGF 及其界。
• 应用勒让德变换，将 CGF 与尾概率界关联，确保在中心极限、中等偏差和大偏差情形下渐近一致。
• 利用马尔可夫链的矩阵表示，包括基本矩阵 Z 和矩阵 A，计算 CGF 展开中的方差项。
• 通过有限和与涉及 (W - A)^d 矩阵的极限近似 CGF，推导出 O(1) 可计算的界，确保计算复杂度低。
• 将贝里-埃森定理推广至马尔可夫链，以获得在常数错误概率约束下有效的界，扩展了斯特拉斯恩的渐近结果。

实验结果

研究问题

• RQ1 能否为马尔可夫链样本均值的尾概率推导出 O(1) 可计算的有限长度界，使其在中心极限、中等偏差和大偏差情形下均具有渐近紧致性？
• RQ2 如何利用相对熵和相对 R{\'e}nyi 熵等信息几何工具，对有限长度下马尔可夫链的累积量生成函数进行有界？
• RQ3 能否在有限长度下，对马尔可夫链中简单假设检验的霍夫丁界同时获得上下界，并且均为 O(1) 可计算？
• RQ4 是否可能通过有限长度的累积量生成函数界，为马尔可夫链的中心极限定理提供一种新且简化的证明？
• RQ5 在第一类错误概率为常数、中等偏差和大偏差约束下，假设检验中第二类错误概率的界如何表现？

主要发现

• 本文推导出马尔可夫链累积量生成函数的上下界，当 n → ∞ 时收敛于渐近 CGF，确保渐近紧致性。
• 这些 CGF 界可导出尾概率的 O(1) 可计算上下界，在极限下恢复中心极限定理、中等偏差和大偏差行为。
• 在简单假设检验中，本文在第一类错误概率的指数约束下，提供了第二类错误概率的 O(1) 可计算上下界，在大偏差情形下恢复霍夫丁界。
• 这些界适用于一般二元函数 g(X_{k+1}, X_k)，不仅限于简单样本均值，扩展了在隐马尔可夫模型中的适用性。
• 通过取 CGF 界的极限，获得马尔可夫链中心极限定理的新证明，确认归一化样本均值收敛于高斯分布。
• 本文将贝里-埃森定理推广至马尔可夫链，得到 O(1) 可计算的界，在常数错误概率约束下恢复斯特拉斯恩的渐近结果。