[论文解读] Fourier-Based Testing for Families of Distributions

Clément L. Canonne, Ilias Diakonikolas+1 more|arXiv (Cornell University)|Jun 18, 2017

Machine Learning and Algorithms参考文献 43被引用 6

一句话总结

本文提出了一种基于傅里叶的新型框架，用于测试离散分布族的成员资格，利用傅里叶谱中的近似稀疏性，实现了接近最优的样本复杂度。该框架首次为独立整数值随机变量之和（SIIRVs）和泊松多项式分布（PMDs）提供了非平凡的测试器，显著提升了这些基本分布族在样本效率和时间效率方面的表现。

ABSTRACT

We study the general problem of testing whether an unknown distribution belongs to a specified family of distributions. More specifically, given a distribution family $\mathcal{P}$ and sample access to an unknown discrete distribution $\mathbf{P}$, we want to distinguish (with high probability) between the case that $\mathbf{P} \in \mathcal{P}$ and the case that $\mathbf{P}$ is $ε$-far, in total variation distance, from every distribution in $\mathcal{P}$. This is the prototypical hypothesis testing problem that has received significant attention in statistics and, more recently, in theoretical computer science. The sample complexity of this general inference task depends on the underlying family $\mathcal{P}$. The gold standard in distribution property testing is to design sample-optimal and computationally efficient algorithms for this task. The main contribution of this work is a simple and general testing technique that is applicable to all distribution families whose Fourier spectrum satisfies a certain approximate sparsity property. To the best of our knowledge, ours is the first use of the Fourier transform in the context of distribution testing. We apply our Fourier-based framework to obtain near sample-optimal and computationally efficient testers for the following fundamental distribution families: Sums of Independent Integer Random Variables (SIIRVs), Poisson Multinomial Distributions (PMDs), and Discrete Log-Concave Distributions. For the first two, ours are the first non-trivial testers in the literature, vastly generalizing previous work on testing Poisson Binomial Distributions. For the third, our tester improves on prior work in both sample and time complexity.

研究动机与目标

• 开发一种适用于离散定义域上分布族的一般性、样本最优且计算高效的测试框架。
• 解决长期存在的难题：测试结构化分布族（如SIIRVs和PMDs）的成员资格，其中先前针对 $k > 2$ 的工作有限或缺失。
• 建立傅里叶分析与分布测试之间的新联系，使谱稀疏性可作为算法设计的结构属性。
• 改进现有样本复杂度和时间复杂度界限，用于测试离散对数凹分布和泊松多项式分布。

提出的方法

• 该框架利用给定分布族 $\mathcal{P}$ 中分布的傅里叶谱的近似稀疏性，通过谱分析实现高效测试。
• 将成员资格测试问题简化为对未知分布 $\mathbf{P}$ 的傅里叶系数进行估计，使用基于样本的估计器。
• 该方法依赖于对恒等测试的约化：若傅里叶谱近似稀疏，则测试 $\mathcal{P}$ 中的成员资格可约化为与一个精心选择的分布 $\mathbf{P}^*$ 的恒等测试。
• 采用基于分布尾部 $\ell_2$-范数的下界技术，结合 Valiant 和 Valiant [VV14] 的结果，建立信息论极限。
• 构建一个具有有界样本复杂度的鲁棒学习算法，以支持该约化，确保框架的可行性。
• 该框架应用于三个关键族：SIIRVs、PMDs 和离散对数凹分布，每类均需定制化的谱分析。

实验结果

研究问题

• RQ1 分布族的傅里叶谱能否作为结构属性，用于设计高效的分布测试算法？
• RQ2 测试 $n$-变量 $k$-有界 SIIRVs 家族的成员资格的样本复杂度是多少？能否实现接近最优？
• RQ3 能否开发一种通用框架，利用谱属性统一测试多种结构化分布族？
• RQ4 与先前方法相比，基于傅里叶的方法在样本复杂度和时间复杂度上如何表现于泊松多项式分布和对数凹分布？

主要发现

• 本文首次为 $k > 2$ 的 $(n,k)$-SIIRVs 提供了非平凡的测试器，样本复杂度为 $O\left(\frac{kn^{1/4}}{\epsilon^2} \log^{1/4}\frac{1}{\epsilon} + \frac{k^2}{\epsilon^2} \log^2\frac{k}{\epsilon}\right)$。
• 对于泊松多项式分布（PMDs），该框架在样本和时间复杂度上均优于先前工作，实现了近似最优。
• 该框架建立了测试与均匀 PMD 恒等的样本复杂度下界 $\Omega\left(\frac{(4\pi n)^{(k-1)/4}}{k^{k/4}\epsilon^2}\right)$，该下界可直接推出成员资格测试的匹配下界。
• 该方法在离散对数凹分布上实现了接近最优的样本复杂度，显著提升了样本效率和时间效率。
• 该框架是首个将傅里叶分析应用于分布测试的研究，建立了调和分析与统计推断之间的新联系。