[論文レビュー] Fourier-Based Testing for Families of Distributions

Clément L. Canonne, Ilias Diakonikolas+1 more|arXiv (Cornell University)|Jun 18, 2017

Machine Learning and Algorithms参考文献 43被引用数 6

ひとこと要約

本稿は、離散的分布族に対するメンバーシップテストのための新規なフーリエベースのフレームワークを提示する。このフレームワークは、フーリエスペクトルにおける近似的なスパarsityを活用することで、近似的に最適なサンプル複雑性を達成する。本稿は、独立した整数確率変数の和（SIIRVs）およびポアソン多項分布（PMDs）に対する、これまでにない非自明なテスト手法を初めて提供し、これらの基本的分布族において、従来の研究に比べてサンプル効率および時間効率が著しく向上している。

ABSTRACT

We study the general problem of testing whether an unknown distribution belongs to a specified family of distributions. More specifically, given a distribution family $\mathcal{P}$ and sample access to an unknown discrete distribution $\mathbf{P}$, we want to distinguish (with high probability) between the case that $\mathbf{P} \in \mathcal{P}$ and the case that $\mathbf{P}$ is $ε$-far, in total variation distance, from every distribution in $\mathcal{P}$. This is the prototypical hypothesis testing problem that has received significant attention in statistics and, more recently, in theoretical computer science. The sample complexity of this general inference task depends on the underlying family $\mathcal{P}$. The gold standard in distribution property testing is to design sample-optimal and computationally efficient algorithms for this task. The main contribution of this work is a simple and general testing technique that is applicable to all distribution families whose Fourier spectrum satisfies a certain approximate sparsity property. To the best of our knowledge, ours is the first use of the Fourier transform in the context of distribution testing. We apply our Fourier-based framework to obtain near sample-optimal and computationally efficient testers for the following fundamental distribution families: Sums of Independent Integer Random Variables (SIIRVs), Poisson Multinomial Distributions (PMDs), and Discrete Log-Concave Distributions. For the first two, ours are the first non-trivial testers in the literature, vastly generalizing previous work on testing Poisson Binomial Distributions. For the third, our tester improves on prior work in both sample and time complexity.

研究の動機と目的

• 離散ドメイン上の分布族に対して、一般的で、サンプル最適であり、計算的に効率的なテストフレームワークを開発すること。
• SIIRVs や PMDs などの構造的分布族に対するメンバーシップテストという長年の課題に取り組むこと。特に $k > 2$ の場合、従来の研究が限られていたり、存在しなかった。
• フーリエ解析と分布テストの間に新たな接点を確立すること。これにより、アルゴリズム設計におけるスペクトルスパarsityを構造的性質として利用可能にする。
• 離散的対数凸分布およびポアソン多項分布のテストにおける、既存のサンプルおよび時間複雑性の上限を改善すること。

提案手法

• フレームワークは、与えられた族 $\mathcal{P}$ に属する分布のフーリエスペクトルの近似的なスパarsityを活用し、スペクトル解析によって効率的なテストを実現する。
• メンバーシップテスト問題を、未知の分布 $\mathbf{P}$ のフーリエ係数の推定問題に還元する。サンプルに基づく推定器を用いる。
• アイデンティティテストへの還元に依存する。フーリエスペクトルが近似的にスパースであれば、$\mathcal{P}$ へのメンバーシップテストは、適切に選ばれた分布 $\mathbf{P}^*$ へのアイデンティティテストに還元可能である。
• 情報理論的限界を確立するために、分布の尾部の $\ell_2$-ノルムに基づく下界技術を用いる。Valiant と Valiant [VV14] の結果を活用する。
• 還元を支えるために、有界なサンプル複雑性を持つアグノスティック学習アルゴリズムを構築し、フレームワークの実現可能性を保証する。
• フレームワークは、SIIRVs、PMDs、離散的対数凸分布の3つの主要な族に適用され、それぞれに特化したスペクトル解析が要請される。

実験結果

リサーチクエスチョン

• RQ1 分布族のフーリエスペクトルを、効率的な分布テストアルゴリズムの設計に用いる構造的性質として利用できるか？
• RQ2 $n$ 変数 $k$-有界な SIIRVs の族へのメンバーシップテストのサンプル複雑性は何か？ そして、これは近似的に最適にできるか？
• RQ3 スペクトル的性質を用いて、多様な構造的分布族のテストを統一する一般フレームワークを構築できるか？
• RQ4 ポアソン多項分布および対数凸分布に対して、フーリエベースのアプローチは、従来の手法と比較して、サンプルおよび時間複雑性で優れているか？

主な発見

• 本稿は、$k > 2$ の $(n,k)$-SIIRVs に対する、初めての非自明なテスト手法を提示する。サンプル複雑性は $O\left(\frac{kn^{1/4}}{\epsilon^2} \log^{1/4}\frac{1}{\epsilon} + \frac{k^2}{\epsilon^2} \log^2\frac{k}{\epsilon}\right)$ である。
• ポアソン多項分布（PMDs）に対しては、従来の研究に比べて改善されたサンプルおよび時間複雑性を達成するテスト手法を提供し、近似的に最適性を達成している。
• アイデンティティテストへの下界として、均一なPMDへのテストにおけるサンプル複雑性下界 $\Omega\left(\frac{(4\pi n)^{(k-1)/4}}{k^{k/4}\epsilon^2}\right)$ を確立した。これは、メンバーシップテストに対しても一致する下界を示唆する。
• 離散的対数凸分布に対して、従来の結果よりもサンプルおよび時間効率の両面で改善された、近似的に最適なサンプル複雑性を達成している。
• 本フレームワークは、分布テストにフーリエ解析を適用した初の試みであり、調和解析と統計的推論の間に新たな接点を確立している。