[论文解读] Finite-length Analysis on Tail probability and Simple Hypothesis Testing for Markov Chain

Shun Watanabe, Masahito Hayashi|arXiv (Cornell University)|Jan 1, 2014

Rough Sets and Fuzzy Logic被引用 6

一句话总结

本文利用信息几何方法，推导出有限长度马尔可夫链的尾概率和矩生成函数的紧致上下界。研究建立了在第一类错误概率受指数约束条件下，最小第二类错误概率的霍夫丁型界，并为马尔可夫链的中心极限定理提供了新的证明。

ABSTRACT

Using terminologies of information geometry, we derive upper and lower bounds of the tail probability of the sample mean. Employing these bounds, we obtain upper and lower bounds of the minimum error probability of the 2nd kind of error under the exponential constraint for the error probability of the 1st kind of error in a simple hypothesis testing for a finite-length Markov chain, which yields the Hoeffding type bound. For these derivations, we derive upper and lower bounds of cumulant generating function for Markov chain. As a byproduct, we obtain another simple proof of central limit theorem for Markov chain.

研究动机与目标

• 推导有限长度马尔可夫链样本均值尾概率的紧致上下界。
• 在简单假设检验中，针对第一类错误概率施加指数约束的条件下，建立最小第二类错误概率的界。
• 为马尔可夫链的矩生成函数建立界，作为尾概率分析的基础步骤。
• 基于所推导的界，为马尔可夫链的中心极限定理提供一种新的、简化的证明。

提出的方法

• 利用信息几何刻画马尔可夫链分布的统计流形。
• 利用指数族的几何性质，推导矩生成函数的上下界。
• 将这些界应用于马尔可夫链的样本均值，以控制尾概率。
• 将尾概率的界转化为二元假设检验中错误概率的约束。
• 采用指数倾斜和几何矩界，以改进马尔可夫链的霍夫丁型不等式。
• 通过利用所推导的矩生成函数界，重构中心极限定理的证明。

实验结果

研究问题

• RQ1 对于有限长度马尔可夫链，样本均值尾概率的最紧致上下界是什么？
• RQ2 如何对马尔可夫链的矩生成函数进行有界，以实现有限长度偏离分析？
• RQ3 在简单假设检验中，当第一类错误概率受指数约束时，最小第二类错误概率的可实现界是什么？
• RQ4 所推导的界能否导出马尔可夫链的霍夫丁型不等式？
• RQ5 能否基于这些界，为马尔可夫链的中心极限定理提供一种新的、简化的证明？

主要发现

• 利用信息几何方法，推导出有限长度马尔可夫链样本均值尾概率的紧致上下界，适用于有限长度马尔可夫链。
• 对马尔可夫链的矩生成函数建立了上下界，从而实现精确的偏离分析。
• 在第一类错误概率受指数约束的条件下，建立了最小第二类错误概率的霍夫丁型界。
• 当应用于马尔可夫过程数据时，所推导的错误概率界比经典的独立同分布结果更紧致、更精确。
• 作为矩生成函数界推导的副产品，获得了一种新的、简洁的马尔可夫链中心极限定理的证明。
• 结果表明，信息几何在改进依赖随机过程的大偏差与渐近分析方面具有显著效用。