[논문 리뷰] Near-Optimal Closeness Testing of Discrete Histogram Distributions

Ilias Diakonikolas, Daniel M. Kane외 1명|arXiv (Cornell University)|2017. 03. 06.

Machine Learning and Algorithms참고 문헌 44인용 수 11

한 줄 요약

이 논문은 $[n]$ 위에서 두 개의 이산 $k$-히스토GRAM 분포 간의 가까움을 측정하기 위한 새로운 알고리즘을 제시하며, 샘플 복잡도가 near-optimal이 되도록 한다. 이는 이전 작업보다 다항적 요소로 향상된 $O(k^{4/5}/\tilde{\Delta}^{6/5})$의 경계를 달성한다. 또한, $k$, $n$, 및 $\epsilon$에 따른 히스토GRAM 가까움 테스트의 샘플 복잡도에 대한 오랫동안 존재하던 격차를 해결하기 위해 거의 매칭되는 정보 이론적 하한을 확립한다.

ABSTRACT

We investigate the problem of testing the equivalence between two discrete histograms. A {\em $k$-histogram} over $[n]$ is a probability distribution that is piecewise constant over some set of $k$ intervals over $[n]$. Histograms have been extensively studied in computer science and statistics. Given a set of samples from two $k$-histogram distributions $p, q$ over $[n]$, we want to distinguish (with high probability) between the cases that $p = q$ and $\|p-q\|_1 \geq ε$. The main contribution of this paper is a new algorithm for this testing problem and a nearly matching information-theoretic lower bound. Specifically, the sample complexity of our algorithm matches our lower bound up to a logarithmic factor, improving on previous work by polynomial factors in the relevant parameters. Our algorithmic approach applies in a more general setting and yields improved sample upper bounds for testing closeness of other structured distributions as well.

연구 동기 및 목표

• 이산 $k$-히스토GRAM 분포 간의 가까움 테스트에 대한 샘플 복잡도 경계의 격차를 해소한다.
• 정보 이론적 하한에 거의 매칭되는 샘플 복잡도를 갖는 알고리즘을 개발한다.
• $k$, $n$, 및 $\epsilon$ 간의 상호작용에 따른 샘플 복잡도의 의존성 문제를 해결한다.
• [DKN15a]의 프레임워크를 확장하여, 구조화된 이산 분포에 대해 더 높은 샘플 효율성을 달성한다.
• 제안된 알고리즘의 최적성과 근접한 하한을 입증하는 거의 날카로운 하한을 제공한다.

제안 방법

• 알고리즘은 가짜 분포의 새로운 구성 방식을 활용하며, 블록 구조 분포에서의 샘플링을 시뮬레이션하기 위해 포아송 과정을 적용한다.
• 핵심 구성 요소로는 총변동 거리가 통제된 $[W]$ 위의 분포 가족 $\mathcal{E}$, $\mathcal{E}_0$, 및 $\mathcal{F}$ 의 사용이다.
• 블록 간 조건부 독립성을 활용하여 샘플링 과정과 기저 분포 가족 간의 상호정보량을 제한한다.
• 메서드는 $k+2m$개의 크기 $W$인 블록에 걸쳐 $\mathcal{E}_0/m$, $\mathcal{E}\epsilon/k$, 및 $\mathcal{F}/m$의 하이브리드 구성 방식을 사용한다.
• 샘플 크기가 최적 이하일 경우의 구별 불가능성을 입증하기 위해 尾분석과 농도 부등식을 사용하여 상호정보량 $I(X:A)$를 제한한다.
• 하한 구축은 총변동 거리와 정보 이론적 추론을 통해 두 가족 $\mathcal{D}$ 와 $\mathcal{D}'$ 를 구분하는 데 기반한다.

실험 결과

연구 질문

• RQ1 이산 $k$-히스토GRAM 분포 간의 가까움 테스트에 대한 최적의 샘플 복잡도는 무엇인가?
• RQ2 샘플 복잡도가 $k$, $n$, 및 $\epsilon$ 간의 상호작용에 따라 어떻게 의존하는가?
• RQ3 이전 작업에서의 $O(k^{4/5}/\epsilon^{6/5})$ 경계를 초월하여, $k$-히스토그램에 대한 가까움 테스트의 샘플 복잡도를 향상시킬 수 있는가?
• RQ4 이전에 알려진 하한 $\Omega(k^{2/3}/\epsilon^{4/3})$ 는 타당한가, 아니면 향상시킬 수 있는가?
• RQ5 [DKN15a]의 프레임워크는 히스토그램과 같은 구조화된 이산 분포에 대해 거의 최적의 경계를 도출하기 위해 확장될 수 있는가?

주요 결과

• 제안된 알고리즘은 $O(k^{4/5}/\epsilon^{6/5})$의 샘플 복잡도를 달성하며, 이는 이전의 상한 $O(k^{4/5}/\epsilon^{6/5})$ 에 비해 다항적 요소로 향상된다.
• 정보 이론적 하한은 $\Omega(k^{2/3}/\epsilon^{4/3})$ 로, 상한과 로그 인자 외에는 거의 매칭된다.
• 샘플 복잡도는 도메인 크기 $n$ 과 무관하여, $k$-히스토그램의 구조가 상당한 효율성 향상을 가능하게 한다는 것을 시사한다.
• 하한은 정교하게 구성된 가짜 분포 가족과 상호정보량 추론을 통해 유도되며, 어떤 알고리즘도 $\Omega(k^{2/3}/\epsilon^{4/3})$ 이하의 샘플 복잡도를 달성할 수 없음을 보여준다.
• 결과적으로 샘플 복잡도가 $k$, $n$, 및 $\epsilon$ 간의 비트리비적 관계에 따라 비선형적으로 의존함을 입증하였으며, 더 단순한 문제들에서의 직관과는 반대된다.
• 이 프레임워크는 히스토그램을 초월한 다른 구조화된 분포의 가까움 테스트에 대해서도 개선된 샘플 복잡도 경계를 도출한다.