[论文解读] Faster Algorithms for Testing under Conditional Sampling

Moein Falahatgar, Ashkan Jafarpour+3 more|arXiv (Cornell University)|Apr 16, 2015

Machine Learning and Algorithms参考文献 1被引用 3

一句话总结

本文在条件采样模型下提出了分布性质测试的更快算法，其中查询会从用户指定的定义域子集返回样本。对于身份测试，其样本复杂度达到最优的 $\widetilde{\mathcal{O}}(\epsilon^{-2})$；对于接近性测试，其样本复杂度为次对数级 $\widetilde{\mathcal{O}}(\epsilon^{-5}\log\log k)$，显著优于先前的界限，并与信息论极限一致。

ABSTRACT

There has been considerable recent interest in distribution-tests whose run-time and sample requirements are sublinear in the domain-size $k$. We study two of the most important tests under the conditional-sampling model where each query specifies a subset $S$ of the domain, and the response is a sample drawn from $S$ according to the underlying distribution. For identity testing, which asks whether the underlying distribution equals a specific given distribution or $ε$-differs from it, we reduce the known time and sample complexities from $ ilde{\mathcal{O}}(ε^{-4})$ to $ ilde{\mathcal{O}}(ε^{-2})$, thereby matching the information theoretic lower bound. For closeness testing, which asks whether two distributions underlying observed data sets are equal or different, we reduce existing complexity from $ ilde{\mathcal{O}}(ε^{-4} \log^5 k)$ to an even sub-logarithmic $ ilde{\mathcal{O}}(ε^{-5} \log \log k)$ thus providing a better bound to an open problem in Bertinoro Workshop on Sublinear Algorithms [Fisher, 2004].

研究动机与目标

• 在条件采样模型下，降低身份测试和接近性测试的样本复杂度与时间复杂度。
• 弥合身份测试中已知上界与信息论下界之间的差距。
• 解决子线性算法中关于接近性测试复杂度的一个开放问题。
• 设计出在接近性测试中对定义域大小 $k$ 实现次对数依赖的高效算法。

提出的方法

• 利用可返回用户定义的定义域子集样本的条件采样查询。
• 引入一种新颖的递归二分搜索框架，以高效识别重要定义域元素。
• 采用剪枝技术以消除低概率元素，从而缩小搜索空间。
• 使用多级近似策略，仅用少量样本即可高置信度估计分布参数。
• 应用经过精心设计的采样策略，其误差界限基于卡方散度和集中不等式推导得出。
• 将多个子程序——辅助接近性测试与二分搜索——整合为分层的算法流水线。

实验结果

研究问题

• RQ1 身份测试能否实现与信息论下界一致的样本复杂度？
• RQ2 在条件采样下，接近性测试的最优样本复杂度是多少，特别是其对 $k$ 的依赖关系如何？
• RQ3 是否可以将接近性测试中对 $k$ 的依赖降低到次对数级别？
• RQ4 如何利用条件采样设计出在复杂度上显著优于标准采样模型的算法？

主要发现

• 身份测试的样本复杂度降低至 $\widetilde{\mathcal{O}}(\epsilon^{-2})$，与信息论下界一致。
• 对于接近性测试，样本复杂度提升至 $\widetilde{\mathcal{O}}(\epsilon^{-5}\log\log k)$，实现了对 $k$ 的次对数依赖。
• 所提出的接近性测试算法解决了在伯蒂诺罗子线性算法研讨会（Fisher, 2014）中提出的一个开放问题。
• 当分布相距 $\epsilon$ 时，该算法的成功概率至少为 $1/30$；当分布相等时，成功概率至少为 $1-\delta$。
• 接近性测试算法的总样本复杂度为 $\widetilde{\mathcal{O}}(\epsilon^{-5}\log\log k)$，优于先前的 $\widetilde{\mathcal{O}}(\epsilon^{-4}\log^5 k)$ 边界。