[논문 리뷰] Optimal Algorithms for Testing Closeness of Discrete Distributions

Siu-On Chan, Ilias Diakonikolas외 2명|arXiv (Cornell University)|2013. 08. 19.

Complexity and Algorithms in Graphs참고 문헌 21인용 수 124

한 줄 요약

이 논문은 ℓ₁ 및 ℓ₂ 거리 척도 하에서 이산 확률 분포의 가까움 테스팅을 위한 최적이고 단순한 테스터를 제시한다. 새로이 도입된 모멘트 기반 분석와 기존의 하한 프레임워크를 활용하여, ℓ₁에 대해서는 Θ(max{n²/³/ε⁴/³, n¹/²/ε²}) 및 ℓ₂에 대해서는 Θ(√b/ε²)의 날카운 샘플 복잡도 한계를 확립함으로써, 정보 이론적 최적성(상수 인자 수준까지)을 달성한다.

ABSTRACT

We study the question of closeness testing for two discrete distributions. More precisely, given samples from two distributions $p$ and $q$ over an $n$-element set, we wish to distinguish whether $p=q$ versus $p$ is at least $\eps$-far from $q$, in either $\ell_1$ or $\ell_2$ distance. Batu et al. gave the first sub-linear time algorithms for these problems, which matched the lower bounds of Valiant up to a logarithmic factor in $n$, and a polynomial factor of $\eps.$ In this work, we present simple (and new) testers for both the $\ell_1$ and $\ell_2$ settings, with sample complexity that is information-theoretically optimal, to constant factors, both in the dependence on $n$, and the dependence on $\eps$; for the $\ell_1$ testing problem we establish that the sample complexity is $Θ(\max\{n^{2/3}/\eps^{4/3}, n^{1/2}/\eps^2 \}).$

연구 동기 및 목표

• 두 이산 분포가 ℓ₁ 거리에서 동일하거나 ε-멀리 떨어져 있는지 테스팅하는 데 필요한 최적의 샘플 복잡도를 결정하는 오랫동안 열려 있던 문제를 해결하는 것.
• 정보 이론적 하한에 상수 인자 수준까지 매칭되는 샘플 복잡도를 갖는 계산적으로 효율적인 테스터를 설계하는 것.
• 분석을 ℓ₂ 거리 설정으로 확장하여, 가까움 테스팅에 대한 최적성과 강건성 성질을 확립하는 것.
• 이전 연구에서의 비최적 샘플 복잡도 한계를 개선하기 위해, n과 ε에 대한 로그 및 다항 인자를 제거한 더 단순한 대안적 접근법을 제공하는 것.

제안 방법

• p와 q의 표본에서의 경험적 모멘트를 비교하여 p=q와 ||p−q||₁≥ε를 구분할 수 있는 새로운 모멘트 기반 테스팅 프레임워크를 제안한다.
• 하한을 유도하기 위해, 제어된 ℓ₁ 거리와 유한한 ℓ∞ 노름을 갖는 분포 p와 q의 새로운 구성법을 사용하여 모멘트 비교를 수행한다.
• 기존 연구에서의 정리 8을 적용하여, 샘플 수가 임계값 이하일 경우 (p,p)와 (p,q) 쌍이 구별 불가능함을 보여주며 하한을 증명한다.
• [VV13]의 정리 10을 활용하여, 편향 가족 Qp,ε를 구성하고 샘플 수를 통한 구별 가능성 분석을 통해 ℓ₂ 테스팅에 대한 하한을 도출한다.
• 학습-추정 방식을 피하고 모멘트 공간에서 지배적인 기여를 집중적으로 다루는 방식으로, 최적 샘플 복잡도를 달성하는 테스터를 설계한다.
• 동일한 샘플 복잡도가 ||p−q||₂≤ε와 ||p−q||₂≥2ε를 구별하는 데도 유효함을 보여 강건한 ℓ₂ 테스팅을 확립한다.

실험 결과

연구 질문

• RQ1 두 이산 분포가 ℓ₁ 거리에서 동일하거나 ε-멀리 떨어져 있는지 테스팅하는 데 필요한 최적 샘플 복잡도는 무엇인가?
• RQ2 정보 이론적 하한에 상수 인자 수준까지 매칭되는 ℓ₁ 가까움 테스팅을 위한 더 단순하고 효율적인 테스터를 설계할 수 있는가?
• RQ3 ℓ₂ 노름 하에서의 가까움 테스팅에 대해 최적 샘플 복잡도는 무엇이며, 강건한 테스팅(ε vs 2ε를 구별)은 비강건 테스팅보다 더 많은 샘플이 필요한가?
• RQ4 ℓ₁ 및 ℓ₂ 가까움 테스팅의 샘플 복잡도 한계는 어떻게 비교되며, 왜 강건성의 행동이 두 설정에서 다르게 나타나는가?

주요 결과

• ℓ₁ 가까움 테스팅의 샘플 복잡도는 Θ(max{n²/³/ε⁴/³, n¹/²/ε²})이며, 상수 인자 수준까지 문제를 해결한 것이다.
• 제안된 ℓ₁ 테스터는 이전 접근법보다 더 단순하고 효율적이며, 학습-추정 파라디그마를 피하고 있다.
• ℓ₂ 가까움 테스팅의 최적 샘플 복잡도는 Θ(√b/ε²)이며, 여기서 b는 최대 확률 질량에 대한 상한이다.
• 강건한 ℓ₂ 테스팅(ε vs 2ε를 구별)은 비강건 테스팅과 동일한 샘플 복잡도로 가능하며, ℓ₁와는 다르게 작용한다.
• ℓ₁ 테스팅의 하한은 (p,p)와 (p,q)가 cn²/³ε⁻⁴/³개 이하의 샘플로는 구별 불가능한 구성법을 통해 모멘트 비교를 통해 확립된다.
• ℓ₂ 테스팅의 하한은 균일 분포를 1/b개 원소에 대해 정의하고 ε√b의 편향을 가진 가족 Qp,ε를 적용한 후, 정리 10을 적용하여 도출되며, 이는 c√b/ε²개 이하의 샘플로는 어떤 알고리즘도 p를 Qp,ε에 속한 무작위 q와 높은 확률로 구별할 수 없음을 보여준다.