[论文解读] Big Data on the Rise: Testing monotonicity of distributions

Clément L. Canonne|arXiv (Cornell University)|Jan 27, 2015

Machine Learning and Algorithms参考文献 21被引用 6

一句话总结

本文研究了在各种查询模型（包括条件查询、评估查询和累积对偶访问）下，对概率分布进行单调性测试的复杂性。该文提出了在这些模型下具有多对数查询复杂度的高效测试器，显著优于标准采样模型，并建立了紧致的下界，表明在增强查询访问下，单调性测试的效率显著提高。

ABSTRACT

The field of property testing of probability distributions, or distribution testing, aims to provide fast and (most likely) correct answers to questions pertaining to specific aspects of very large datasets. In this work, we consider a property of particular interest, monotonicity of distributions. We focus on the complexity of monotonicity testing across different models of access to the distributions; and obtain results in these new settings that differ significantly from the known bounds in the standard sampling model.

研究动机与目标

• 研究在新型访问模型（如条件访问、评估访问和累积对偶访问）下，分布测试中单调性测试的复杂性。
• 确定当除标准采样外还可获得分布的额外访问时，单调性测试的查询复杂性如何变化。
• 在这些新型模型中建立单调性测试的紧致上界与下界，特别是在效率至关重要的大数据背景下。
• 弥合在非标准模型中单调性测试理解上的空白，此前相关结果稀少或缺失。

提出的方法

• 利用单调分布的结构结果，将单调性测试约化为在多对数个区间上进行均匀性测试。
• 采用一种划分策略，将定义域元素分组为若干区间，使得在每个区间内分布近似均匀或单调。
• 使用条件采样和评估预言机来模拟查询，并估计分布与其在区间上的投影之间的总变差距离。
• 应用切尔诺夫不等式和联合不等式，通过少量查询以高概率估计总变差距离。
• 设计一种非自适应测试器，结合采样和评估查询，以高置信度测试与单调性的接近程度。
• 利用距离到单调性的表达式可表示为区间上的期望这一事实，通过从原始分布采样并查询区间质量，实现高效估计。

实验结果

研究问题

• RQ1 与标准采样相比，使用条件采样时，单调性测试的查询复杂性如何变化？
• RQ2 对分布的评估访问是否能实现单调性测试的次多项式查询复杂度？
• RQ3 在评估访问和累积对偶访问模型下，单调性测试的紧致下界是什么？
• RQ4 与仅使用标准采样相比，采样与评估访问的结合如何提升单调性测试的效率？
• RQ5 单调分布的哪些结构性质使得在增强查询模型下能够实现高效测试？

主要发现

• 在EVAL模型中，实现了仅需 O(log n / ε) 次查询的多对数查询测试器，显著优于标准采样模型。
• 在EVAL模型中，为非自适应测试器建立了 Ω(log n / ε) 的下界，表明该界近乎紧致。
• 在累积对偶模型中，提出了一个 Õ(1/ε⁴) 查询复杂度的测试器，与相关问题的最佳已知边界一致。
• 在COND模型中，实现了 Õ(1/ε²²) 查询复杂度的测试器，表明条件查询能极大降低复杂度。
• 本文证明，在增强查询模型下，单调性测试严格更简单，查询复杂度从标准模型中的 Õ(√n/ε⁶) 降低至EVAL和累积对偶访问下的多对数级。
• EVAL模型中的下界表明，即使对于自适应测试器，Ω(log n / log log n) 次查询也是必需的，突显了内在限制。