[论文解读] Minimax Testing of Identity to a Reference Ergodic Markov Chain

Geoffrey Wolfer, Aryeh Kontorovich|arXiv (Cornell University)|Jan 31, 2019

Markov Chains and Monte Carlo Methods参考文献 22被引用 5

一句话总结

本文提出了一种高效的极小极大检验方法，用于判断一个未知的马尔可夫链是否与一个已知的参考遍历马尔可夫链相同或在总变差距离上ε-远离该参考链，仅使用一条长轨迹。样本复杂度仅依赖于参考链的平稳分布和混合时间，达到近乎最优的界 Õ(1/π⋆ ⋅ max{√d/ε², t_mix})，并与下界匹配，对未知链无任何假设。

ABSTRACT

We exhibit an efficient procedure for testing, based on a single long state sequence, whether an unknown Markov chain is identical to or $\varepsilon$-far from a given reference chain. We obtain nearly matching (up to logarithmic factors) upper and lower sample complexity bounds for our notion of distance, which is based on total variation. Perhaps surprisingly, we discover that the sample complexity depends solely on the properties of the known reference chain and does not involve the unknown chain at all, which is not even assumed to be ergodic.

研究动机与目标

• 开发一种未知马尔可夫链与已知参考遍历马尔可夫链身份的极小极大检验程序。
• 在马尔可夫设置下，建立总变差距离的紧致样本复杂度界，其中未知链不假设为遍历的。
• 证明样本复杂度仅依赖于参考链的最小平稳概率 π⋆ 和混合时间 t_mix。
• 提供一种高效的测试算法以及匹配的信息论下界。
• 将所提出的基于总变差距离的方法与以往的伪距离（如 Dist√(·,·)）进行比较，证明其占优性与可约性。

提出的方法

• 该检验使用来自未知链的一条长轨迹，将其经验转移概率与已知参考链的转移概率进行比较。
• 该过程基于逐状态的假设检验，对每个状态的转移分布应用独立同分布身份检验器（例如，Valiant 和 Valiant, 2017）。
• 样本复杂度通过一种新颖的分析方法推导得出，涉及参考链的平稳分布 π⋆ 和混合时间 t_mix。
• 实例特定界将 √d/π⋆ 替换为 max_i {π(i)⁻¹ ‖M̄(i,·)‖₂/₃}，可显著更小。
• 该方法以状态间转移分布的总变差距离为主要度量，并在所有状态上施加统一的界。
• 通过上界分析所需样本量以及在最坏情况下的匹配下界，建立了理论保证。

实验结果

研究问题

• RQ1 测试未知马尔可夫链与已知参考遍历马尔可夫链在总变差距离上的匹配性，其最优样本复杂度是多少？
• RQ2 样本复杂度如何依赖于参考链的结构性质，如其平稳分布和混合时间？
• RQ3 样本复杂度能否独立于未知链的性质，包括其遍历性？
• RQ4 所提出的基于总变差距离的度量与以往的伪距离（如 Dist√(·,·)）之间有何关系？
• RQ5 推导出的样本复杂度上下界是否近乎紧致？在何种情形下它们能匹配？

主要发现

• 样本复杂度为 Õ(1/π⋆ ⋅ max{√d/ε², t_mix})，近乎最优，且仅依赖于参考链的性质。
• 未知链无需是遍历的，甚至无需不可约；除具有 d 个状态外，无需任何额外假设。
• 实例特定界将 √d/π⋆ 替换为 max_i {π(i)⁻¹ ‖M̄(i,·)‖₂/₃}，可远小于 √d/π⋆。
• 建立了两个下界：Ω(dt_mix) 和 Ω(√d/(π⋆ε²))，表明在某些情形下上界无法进一步改进。
• 所提出的距离在支配性上优于 Dist√(·,·) 伪距离，且在 Dist√(·,·) 下的身份检验可约化为在新度量下的检验，ε 损失因子为 2。
• 完整测试的时间复杂度为 O(d(d + m))，其中 m 为样本大小，方法在计算上高效。