[논문 리뷰] Fourier-Based Testing for Families of Distributions

Clément L. Canonne, Ilias Diakonikolas외 1명|arXiv (Cornell University)|2017. 06. 18.

Machine Learning and Algorithms참고 문헌 43인용 수 6

한 줄 요약

이 논문은 이산 분포 가족의 소속성 테스팅을 위한 새로운 푸리에 기반 프레임워크를 제안하며, 푸리에 스펙트럼의 근사 희소성(approximate sparsity)을 활용하여 거의 최적의 표본 복잡도를 달성한다. 이는 독립 정수 랜덤 변수의 합(SIIRVs)과 포아송 다항분포(PMDs)에 대한 처음으로 비트리비얼한 테스터를 제공하며, 이러한 기본적인 분포 가족에 대해 이전 작업에 비해 표본 및 시간 효율성에서 크게 향상시킨다.

ABSTRACT

We study the general problem of testing whether an unknown distribution belongs to a specified family of distributions. More specifically, given a distribution family $\mathcal{P}$ and sample access to an unknown discrete distribution $\mathbf{P}$, we want to distinguish (with high probability) between the case that $\mathbf{P} \in \mathcal{P}$ and the case that $\mathbf{P}$ is $ε$-far, in total variation distance, from every distribution in $\mathcal{P}$. This is the prototypical hypothesis testing problem that has received significant attention in statistics and, more recently, in theoretical computer science. The sample complexity of this general inference task depends on the underlying family $\mathcal{P}$. The gold standard in distribution property testing is to design sample-optimal and computationally efficient algorithms for this task. The main contribution of this work is a simple and general testing technique that is applicable to all distribution families whose Fourier spectrum satisfies a certain approximate sparsity property. To the best of our knowledge, ours is the first use of the Fourier transform in the context of distribution testing. We apply our Fourier-based framework to obtain near sample-optimal and computationally efficient testers for the following fundamental distribution families: Sums of Independent Integer Random Variables (SIIRVs), Poisson Multinomial Distributions (PMDs), and Discrete Log-Concave Distributions. For the first two, ours are the first non-trivial testers in the literature, vastly generalizing previous work on testing Poisson Binomial Distributions. For the third, our tester improves on prior work in both sample and time complexity.

연구 동기 및 목표

• 이산 영역 위의 분포 가족을 위한 일반적이고 표본 최적화된, 계산적으로 효율적인 테스팅 프레임워크를 개발하는 것.
• SIIRVs 및 PMDs와 같은 구조적 분포 가족에 대한 소속성 테스팅이라는 오랜 도전 과제를 해결하는 것. 이는 $k > 2$일 경우 이전 작업이 제한적이거나 존재하지 않았던 분야이다.
• 푸리에 분석과 분포 테스팅 사이의 새로운 연결 고리를 수립함으로써, 알고리즘 설계에 있어 스펙트럼 희소성( spectral sparsity)을 구조적 성질로 활용할 수 있도록 하는 것.
• 이산 로그-볼록 분포 및 포아송 다항분포에 대한 기존의 표본 및 시간 복잡도 한계를 향상시키는 것.

제안 방법

• 프레임워크는 주어진 가족 $\mathcal{P}$ 내 분포의 푸리에 스펙트럼의 근사 희소성을 활용하여 스펙트럼 분석을 통한 효율적 테스팅을 가능하게 한다.
• 미지의 분포 $\mathbf{P}$의 푸리에 계수를 추정하는 문제로 소속성 테스팅 문제를 환원하며, 표본 기반 추정기를 사용한다.
• 정체성 테스팅으로의 환원에 기반한다: 만약 푸리에 스펙트럼이 근사적으로 희소하다면, $\mathcal{P}$에 대한 소속성 테스팅은 특별히 선택된 분포 $\mathbf{P}^*$에 대한 정체성 테스팅으로 환원될 수 있다.
• 분포 꼬리의 $\ell_2$-노름을 기반으로 한 하한 기법을 사용하며, Valiant와 Valiant [VV14]의 결과를 활용하여 정보 이론적 한계를 확립한다.
• 환원을 지원하기 위해 표본 복잡도가 유계인 아그노스틱 학습 알고리즘을 구성하여 프레임워크의 실현 가능성을 확보한다.
• 프레임워크는 세 가지 핵심 가족에 적용된다: SIIRVs, PMDs, 그리고 이산 로그-볼록 분포이며, 각각에 대해 특화된 스펙트럼 분석이 필요하다.

실험 결과

연구 질문

• RQ1 분포 가족의 푸리에 스펙트럼이 효율적인 분포 테스팅 알고리즘 설계를 위한 구조적 성질로 사용될 수 있는가?
• RQ2 표본 복잡도가 $n$-변량 $k$-유계 SIIRVs의 가족에 대해 어떻게 되며, 이를 거의 최적화할 수 있는가?
• RQ3 스펙트럼 성질을 활용하여 다양한 구조적 분포 가족의 테스팅을 통합하는 일반적 프레임워크를 개발할 수 있는가?
• RQ4 포아송 다항분포 및 로그-볼록 분포에 대해, 푸리에 기반 접근법은 이전 방법에 비해 표본 및 시간 복잡도에서 어떻게 비교되는가?

주요 결과

• 논문은 $k > 2$에 대해 $(n,k)$-SIIRVs에 대한 처음으로 비트리비얼한 테스터를 제시하며, 표본 복잡도는 $O\left(\frac{kn^{1/4}}{\epsilon^2} \log^{1/4}\frac{1}{\epsilon} + \frac{k^2}{\epsilon^2} \log^2\frac{k}{\epsilon}\right)$이다.
• 포아송 다항분포(PMDs)에 대해서는 이전 작업에 비해 향상된 표본 및 시간 복잡도를 달성하는 테스터를 도출하며, 거의 최적화된 성능을 확보한다.
• 균일한 PMD에 대한 정체성 테스팅을 위한 표본 복잡도 하한을 $\Omega\left(\frac{(4\pi n)^{(k-1)/4}}{k^{k/4}\epsilon^2}\right)$로 확립하며, 이는 소속성 테스팅에 대해 대응하는 하한을 암시한다.
• 이 방법은 이산 로그-볼록 분포에 대해 거의 최적의 표본 복잡도를 달성하며, 이전 결과에 비해 표본 및 시간 효율성에서 모두 향상된다.
• 이 프레임워크는 분포 테스팅에 푸리에 분석을 적용한 최초의 사례로서, 조화 분석과 통계적 추론 사이의 새로운 연결 고리를 수립한다.