[논문 리뷰] Optimal Testing for Properties of Distributions

Jayadev Acharya, Constantinos Daskalakis외 1명|arXiv (Cornell University)|2015. 07. 21.

Machine Learning and Algorithms참고 문헌 21인용 수 44

한 줄 요약

이 논문은 이탈리아어로 작성된 이론적 틀을 통해 이산 확률 분포의 기본 성질—예를 들어 단조성, 로그-볼록성, 단일모드성, 독립성, 단조 위험률 등—을 샘플 수가 최적이고 계산적으로 효율적인 방법으로 테스트하기 위한 일반적인 프레임워크를 제시한다. 이는 문제를 카이제곱 거리와 총 변동 거리에 기반한 알려진 기준 분포와의 구별로 환원함으로써 달성된다. 주요 기여는 1차원 성질에 대해 $∘(\sqrt{n}/\varepsilon^2)$, $d$ 차원에서의 단조성에 대해 $∘(n^{d/2}/\varepsilon^2)$의 샘플 복잡도 상한을 확립하고, 이에 대응하는 하한도 함께 제시한 것이다.

ABSTRACT

Given samples from an unknown distribution $p$, is it possible to distinguish whether $p$ belongs to some class of distributions $\mathcal{C}$ versus $p$ being far from every distribution in $\mathcal{C}$? This fundamental question has received tremendous attention in statistics, focusing primarily on asymptotic analysis, and more recently in information theory and theoretical computer science, where the emphasis has been on small sample size and computational complexity. Nevertheless, even for basic properties of distributions such as monotonicity, log-concavity, unimodality, independence, and monotone-hazard rate, the optimal sample complexity is unknown. We provide a general approach via which we obtain sample-optimal and computationally efficient testers for all these distribution families. At the core of our approach is an algorithm which solves the following problem: Given samples from an unknown distribution $p$, and a known distribution $q$, are $p$ and $q$ close in $χ^2$-distance, or far in total variation distance? The optimality of our testers is established by providing matching lower bounds with respect to both $n$ and $\varepsilon$. Finally, a necessary building block for our testers and an important byproduct of our work are the first known computationally efficient proper learners for discrete log-concave and monotone hazard rate distributions.

연구 동기 및 목표

• 이산 분포의 기본 형태 성질(예: 단조성, 로그-볼록성, 단일모드성, 독립성, 단조 위험률 등)을 테스트할 때 샘플 복잡도의 격차를 해소하기 위해.
• 모든 이러한 분포 유형에 대해 샘플 수 최적화와 계산적 효율성을 동시에 달성하는 통합된 테스팅 프레임워크를 개발하기 위해.
• 상한과 일치하는 엄밀한 하한을 확립하여, $n$과 $\varepsilon$에 대해 제안된 테스터의 최적성을 입증하기 위해.
• 테스팅 프레임워크의 부산물로써 이산 로그-볼록 및 단조 위험률 분포에 대해 계산적으로 효율적인 적절한 학습기(Proper Learner)를 처음으로 제공하기 위해.

제안 방법

• 핵심 방법은 알려진 분포 $q$와의 $\chi^2$-거리에서 가까운지, 또는 총 변동 거리에서 먼지를 판단하는 알고리즘으로, 이는 $\Theta(\sqrt{n}/\varepsilon^2)$의 샘플 수를 요구한다.
• 프레임워크는 성질 테스팅 문제를 이 $\chi^2$-대비-TV 거리 구별 문제로 환원함으로써, 다양한 분포 유형에 대해 샘플 수 최적의 테스터를 가능하게 한다.
• 단조성 테스팅을 위해 $[n]^d$에서, 균일 분포와 구조적으로 다른 방식으로 다름을 보이는 $2^{n^{d/2}/2}$개의 분포로 이루어진 클래스를 구성하고, Paninski의 방법을 적용하여 하한을 도출한다.
• 독립성 테스팅을 위해, 초입방형 $[n_1] \times \cdots \times [n_d]$에서 제품 분포에서 멀리 떨어져 있는 분포의 큰 클래스를 구성하며, 자유도의 개념과 Paninski의 기법을 활용한다.
• 로그-볼록성 및 단일모드 분포의 경우, 어떤 분포도 구성된 분포 클래스로부터 $\varepsilon$-거리 이상 떨어져 있음을 입증하기 위해 올라가는 점을 분석하고, 간격에 대해 삼각부등식을 적용한다.
• 단조 위험률(MHR) 분포의 경우, 중심 구간 $[n/4, 3n/4]$ 내에서 최소 $n/8$개의 올라가는 점을 식별하고, $p_i$와 $p_{i+1}$의 bound를 활용하여 총 변동 거리 하한을 $\Omega(\varepsilon)$로 도출한다.

실험 결과

연구 질문

• RQ1 주어진 $\varepsilon$-거리 기준으로 $[n]$에서의 분포가 단조인지 테스트할 때 최적의 샘플 복잡도는 무엇인가?
• RQ2 초입방형에서의 $d$ 차원 분포에서 독립성을 테스트할 때 샘플 복잡도는 어떻게 스케일링되는가?
• RQ3 여러 분포 성질에 대해 샘플 수 최적화와 계산적 효율성을 동시에 달성할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ4 작은 샘플 영역에서 로그-볼록성, 단일모드성, 단조 위험률을 테스트할 때 샘플 복잡도에 대한 가장 날카로운 하한은 무엇인가?
• RQ5 테스팅 프레임워크의 부산물로써 로그-볼록 및 단조 위험률 분포에 대해 효율적인 적절한 학습 알고리즘을 구성할 수 있는가?

주요 결과

• 모든 $[n]$에서의 분포에 대해 정체성 테스팅은 $\Theta(\sqrt{n}/\varepsilon^2)$의 샘플 수가 필요하며, 이는 균일 분포에 대해 최적이며, 최소 최대 샘플 복잡도와 일치한다.
• 단조성 테스팅은 $[n]^d$에서 $\Theta(n^{d/2}/\varepsilon^2)$의 샘플 수가 필요하며, 이는 이전의 $\Omega(\sqrt{n}\log n / \varepsilon^4)$ (1차원) 및 $\tilde{\Omega}(n^{d-1/2}\text{poly}(1/\varepsilon))$ (고차원)의 결과를 향상시킨다.
• 초입방형 $[n_1] \times \cdots \times [n_d]$에서 $d$ 개의 랜덤 변수의 독립성을 테스트하기 위해 $O\left(\left(\prod_{l}n_{l}\right)^{1/2} + \sum_{l}n_{l}\right)/\varepsilon^2$의 샘플 수가 필요하며, 이에 대응하는 하한은 $\Omega\left(\left(\prod_{l}n_{l}\right)^{1/2}/\varepsilon^2\right)$이다.
• 로그-볼록성, 단일모드성, 단조 위험률을 테스트하기 위해 각각 $\Theta(\sqrt{n}/\varepsilon^2)$의 샘플 수가 필요하며, 이는 구조화된 분포 클래스와 올라가는 점 분석을 통해 엄밀한 하한이 확립되었다.
• 이 프레임워크는 이산 로그-볼록 및 단조 위험률 분포에 대해 처음으로 알려진 계산적으로 효율적인 적절한 학습기를 도출하였으며, 이는 테스팅 파이프라인에 필수적이다.
• 모든 고려된 성질에 대해 하한이 상한과 일치함을 증명함으로써, 이 테스터들이 $n$과 $\varepsilon$에 대해 최적임을 입증하였다.