[论文解读] Testing Closeness of Discrete Distributions

Tuğkan Batu, Lance Fortnow+3 more|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|Sep 27, 2010

Machine Learning and Algorithms参考文献 40被引用 12

一句话总结

本文提出了一种亚线性时间算法，用于使用 O(n²/³ǫ⁻⁸/³ log n) 个样本测试两个离散概率分布之间的 ℓ1 距离，显著优于朴素方法的线性样本复杂度。该方法结合了对低概率元素的 ℓ2 距离估计和通过过滤技术对高概率元素的直接 ℓ1 估计，实现了在对数因子范围内的最优样本复杂度，适用于测试马尔可夫链的快速混合性。

ABSTRACT

Given samples from two distributions over an $n$-element set, we wish to test whether these distributions are statistically close. We present an algorithm which uses sublinear in $n$, specifically, $O(n^{2/3}ε^{-8/3}\log n)$, independent samples from each distribution, runs in time linear in the sample size, makes no assumptions about the structure of the distributions, and distinguishes the cases when the distance between the distributions is small (less than $\max\{ε^{4/3}n^{-1/3}/32, εn^{-1/2}/4\}$) or large (more than $ε$) in $\ell_1$ distance. This result can be compared to the lower bound of $Ω(n^{2/3}ε^{-2/3})$ for this problem given by Valiant. Our algorithm has applications to the problem of testing whether a given Markov process is rapidly mixing. We present sublinear for several variants of this problem as well.

研究动机与目标

• 开发一种用于测试两个离散分布是否在 ℓ1 距离上接近的亚线性样本算法。
• 解决在仅有独立样本且无结构假设下测试分布接近性的挑战。
• 将该算法应用于马尔可夫链的性质测试，特别是判断一个链是否快速混合。
• 实现样本复杂度在对数因子范围内最优，与已知下界一致。

提出的方法

• 该算法使用一种过滤策略，根据从 ǫ 和 n 衍生出的阈值将定义域划分为高概率和低概率元素。
• 对于高概率元素，使用受控误差的朴素采样方法进行直接 ℓ1 估计。
• 对于低概率元素，使用 O(ǫ⁻⁴ log(1/δ)) 个样本估计 ℓ2 距离，利用 ℓ1 距离最多为 √n 倍 ℓ2 距离的事实。
• 通过加权误差界将两部分的估计结果组合，以确保整体 ℓ1 距离估计在 ǫ 以内。
• 通过优化过滤阈值，平衡高概率和低概率部分的误差贡献。
• 通过在 t 步后测试分布是否接近平稳分布，将该框架扩展至马尔可夫链，使用边行走采样。

实验结果

研究问题

• RQ1 我们能否在不假设分布结构的前提下，使用关于 n 的亚线性样本数量测试两个离散分布是否在 ℓ1 距离上接近？
• RQ2 当仅有独立样本可用时，测试两个分布之间 ℓ1 距离的最优样本复杂度是多少？
• RQ3 我们如何利用 ℓ2 距离估计在亚线性范围内实现高效的 ℓ1 测试？
• RQ4 该方法能否扩展至测试马尔可夫链是否快速混合，即是否能快速达到平稳状态？
• RQ5 在稀疏或结构化设置下，测试接近快速混合性的样本复杂度是多少？

主要发现

• 该算法使用 O(n²/³ǫ⁻⁸/³ log(n/δ)) 个样本测试 ℓ1 距离，其复杂度在对数因子范围内最优，与 Valiant 给出的 Ω(n²/³ǫ⁻²/³) 下界一致。
• 该方法在高概率元素的 ℓ1 估计与低概率元素的 ℓ2 估计之间实现了权衡，最小化了总误差。
• 对于马尔可夫链，该算法通过追踪 ˜O(tn⁵/³) 条边来测试 t 步后分布是否接近平稳分布，当 t 较小时仍保持亚线性复杂度。
• 当链是 (ǫ, t)-混合时，测试接受概率至少为 2/3；当链不与任何 (4ǫ, 2t)-混合链在 (2ǫ, 1.01ǫ) 范围内接近时，测试拒绝概率至少为 2/3。
• 通过根据行支撑大小重新加权状态，该框架可扩展至稀疏马尔可夫链，测试在该分布下与平滑状态的接近性。
• 对于无向图，可通过使用均匀分布测试器加速该方法，当平稳分布为均匀分布时可降低复杂度。