[论文解读] Sharp Bounds for Generalized Uniformity Testing

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Sep 7, 2017

Machine Learning and Algorithms参考文献 27被引用 5

一句话总结

本文为广义一致性检测问题建立了紧致的样本复杂度界限，该问题旨在区分一个未知的离散分布是否在其定义域的某个子集上为均匀分布，或是否在总变差距离上与任何此类均匀分布相差至少 $\epsilon$。作者提出了一种计算高效的检测器，其样本复杂度为 $\Theta\left(1/(\epsilon^{4/3}\|p\|_{3})+1/(\epsilon^{2}\|p\|_{2})\right)$，与匹配的信息论下界完全一致。

ABSTRACT

We study the problem of generalized uniformity testing \cite{BC17} of a discrete probability distribution: Given samples from a probability distribution $p$ over an {\em unknown} discrete domain $\mathbfΩ$, we want to distinguish, with probability at least $2/3$, between the case that $p$ is uniform on some {\em subset} of $\mathbfΩ$ versus $ε$-far, in total variation distance, from any such uniform distribution. We establish tight bounds on the sample complexity of generalized uniformity testing. In more detail, we present a computationally efficient tester whose sample complexity is optimal, up to constant factors, and a matching information-theoretic lower bound. Specifically, we show that the sample complexity of generalized uniformity testing is $Θ\left(1/(ε^{4/3}\|p\|_3) + 1/(ε^{2} \|p\|_2) ight)$.

研究动机与目标

• 精确刻画广义一致性检测的样本复杂度，该问题为一致性检测的一种自然推广，其中定义域未知，且分布可能在未知子集上为均匀分布。
• 填补先前工作 [BC17] 留下的空白，该工作仅提供了样本复杂度的松散上下界。
• 开发一种计算高效的检测器，其样本复杂度在常数因子范围内达到最优。
• 建立匹配的信息论下界，以确认所提检测器样本复杂度的最优性。

提出的方法

• 该算法基于 $\epsilon$ 与 $\|p\|_2^2$ 的相对大小进行情形分析，分别处理较大的和较小的 $\epsilon$。
• 对于较大的 $\epsilon$，该方法利用当 $p$ 为均匀分布时 $\|p\|_3 = \|p\|_2^{4/3}$ 的恒等式，并通过精确估计 $\|p\|_2$ 和 $\|p\|_3$ 来检测偏差。
• 检测器使用无偏估计量来估计分布的二阶与三阶矩（碰撞统计量），依赖于样本中的经验频率计数。
• 对于下界分析，作者采用耦合论证与信息论技术，分析假设与充分统计量（碰撞次数）之间的互信息。
• 他们构造了两个分布：一个在子集上均匀分布，另一个与任何均匀分布相差 $\epsilon$，并证明任何算法都无法在少于 $\Omega(n^{2/3}/\epsilon^{4/3} + n^{1/2}/\epsilon^2)$ 个样本下可靠地区分它们。
• 分析涉及对指数项进行泰勒展开，并对碰撞次数上的概率平方差进行有界，最终证明互信息为 $o(1)$，意味着不可区分性。

实验结果

研究问题

• RQ1 广义一致性检测的精确样本复杂度如何随 $\epsilon$、$\|p\|_2$ 和 $\|p\|_3$ 变化？
• RQ2 计算高效的检测器能否实现该问题的最优样本复杂度？
• RQ3 广义一致性检测的样本复杂度是否与标准一致性检测有显著不同？
• RQ4 解决该问题所需样本数的信息论极限是什么？

主要发现

• 广义一致性检测的样本复杂度为 $\Theta\left(1/(\epsilon^{4/3}\|p\|_{3})+1/(\epsilon^{2}\|p\|_{2})\right)$，在常数因子范围内达到最优。
• 所提检测器计算高效，其期望样本数为 $O\left(1/(\epsilon^{4/3}\|p\|_{3})+1/(\epsilon^{2}\|p\|_{2})\right)$。
• 建立了匹配的信息论下界 $\Omega(n^{2/3}/\epsilon^{4/3} + n^{1/2}/\epsilon^2)$，其中 $\|p\|_3 = \Theta(n^{-2/3})$ 且 $\|p\|_2 = \Theta(n^{-1/2})$。
• 下界通过构造两个难以区分的分布来证明：一个在子集上均匀分布，另一个与任何均匀分布相差 $\epsilon$，并证明其互信息为 $o(1)$。
• 分析表明，对于 $t=1$、$t=2$ 和 $t>2$，对总变差距离的贡献为 $o(1/N)$，意味着在样本数较少时，两个假设无法被可靠区分。
• 结果确认广义一致性检测的样本复杂度与标准一致性检测有本质不同，后者为 $\Theta(n^{1/2}/\epsilon^2)$。