[논문 리뷰] Testing Closeness of Discrete Distributions

Tuğkan Batu, Lance Fortnow외 3명|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|2010. 09. 27.

Machine Learning and Algorithms참고 문헌 40인용 수 12

한 줄 요약

이 논문은 O(n²/³ǫ⁻⁸/³ log n)개의 샘플을 사용하여 두 이산 확률 분포 간의 ℓ1 거리를 측정하는 서브라인어 시간 알고리즘을 제안한다. 이는 나이브한 방법의 선형 샘플 복잡도에 비해 크게 향상된 결과이며, 낮은 확률을 가진 요소들에 대해 ℓ2 거리 추정을, 높은 확률을 가진 요소들에 대해 직접 ℓ1 추정을 필터링 기법을 통해 수행함으로써 최적의 샘플 복잡도를 달성한다. 이는 로그 인자에 대해 최적이며, 마르코프 체인의 빠른 혼합성 테스트에 적용 가능하다.

ABSTRACT

Given samples from two distributions over an $n$-element set, we wish to test whether these distributions are statistically close. We present an algorithm which uses sublinear in $n$, specifically, $O(n^{2/3}ε^{-8/3}\log n)$, independent samples from each distribution, runs in time linear in the sample size, makes no assumptions about the structure of the distributions, and distinguishes the cases when the distance between the distributions is small (less than $\max\{ε^{4/3}n^{-1/3}/32, εn^{-1/2}/4\}$) or large (more than $ε$) in $\ell_1$ distance. This result can be compared to the lower bound of $Ω(n^{2/3}ε^{-2/3})$ for this problem given by Valiant. Our algorithm has applications to the problem of testing whether a given Markov process is rapidly mixing. We present sublinear for several variants of this problem as well.

연구 동기 및 목표

• 두 이산 분포 간의 ℓ1 거리가 얼마나 가까운지 서브라인어 샘플 수로 테스트할 수 있는 알고리즘을 개발하는 것.
• 구조적 가정 없이 독립적인 샘플만 이용 가능한 상황에서 분포 간 가까움을 테스트하는 데 도전하는 것.
• 이 알고리즘을 마르코프 체인의 성질 테스트에 적용하여, 특히 체인이 얼마나 빨리 정적 분포에 도달하는지 판단하는 것.
• 샘플 복잡도를 로그 인자에 대해 최적화하여 기존 알려진 하한선과 일치시키는 것.

제안 방법

• ǫ와 n에 기반한 임계값을 이용해 도메인을 높은 확률 요소와 낮은 확률 요소로 분할하는 필터링 전략을 사용한다.
• 높은 확률 요소에 대해서는 오차를 통제할 수 있는 나이브 샘플링 접근법을 사용해 직접 ℓ1 추정을 수행한다.
• 낮은 확률 요소에 대해서는 O(ǫ⁻⁴ log(1/δ))개의 샘플을 사용해 ℓ2 거리 추정을 수행하며, ℓ1 거리가 ℓ2 거리의 최대 √n 배임을 고려한다.
• 두 구성요소에서 유도된 추정치를 가중 오차 한계를 사용해 조합하여 전체 ℓ1 거리가 ǫ 이내로 추정되도록 보장한다.
• 높은 확률 및 낮은 확률 부분의 오차 기여도를 균형 잡기 위해 필터링의 임계값을 최적화한다.
• 엣지워크 샘플링을 사용해 마르코프 체인에 대한 프레임워크를 확장한다. 이는 t단계 후 분포가 정적 분포에 얼마나 가까운지 테스트하는 데 사용된다.

실험 결과

연구 질문

• RQ1 구조적 가정 없이도 n에 대해 서브라인어 샘플 수로 두 이산 분포 간 ℓ1 거리 가까움을 테스트할 수 있는가?
• RQ2 독립적인 샘플만 이용 가능한 상황에서 두 분포 간 ℓ1 거리 테스트에 최적의 샘플 복잡도는 무엇인가?
• RQ3 ℓ2 거리 추정을 어떻게 활용해 서브라인어 환경에서 효율적인 ℓ1 테스트를 달성할 수 있는가?
• RQ4 이 방법을 마르코프 체인이 빠르게 혼합하는지 테스트하는 데 확장할 수 있는가, 즉 정적 분포에 신속히 도달하는가?
• RQ5 특히 희소하거나 구조적인 설정에서 마르코프 체인의 빠른 혼합성에 대한 가까움을 테스트할 때의 샘플 복잡도는 무엇인가?

주요 결과

• 알고리즘은 O(n²/³ǫ⁻⁸/³ log(n/δ))개의 샘플을 사용해 ℓ1 거리를 테스트하며, Valiant의 Ω(n²/³ǫ⁻²/³) 하한선과 로그 인자에 대해 일치하는 최적의 복잡도를 달성한다.
• 높은 확률 요소에 대한 ℓ1 추정과 낮은 확률 요소에 대한 ℓ2 추정 간의 트레이드오프를 통해 총 오차를 최소화한다.
• 마르코프 체인의 경우, t단계 분포가 정적 분포에 가까운지 테스트하기 위해 ˜O(tn⁵/³)개의 엣지를 따라가며, 작은 t에 대해 여전히 서브라인어 복잡도를 유지한다.
• 체인이 (ǫ, t)-혼합성인 경우, 테스트는 최소 2/3 확률로 수용한다. 반면 체인이 어떤 (4ǫ, 2t)-혼합성 체인에도 (2ǫ, 1.01ǫ)-가까운 적이 없는 경우, 최소 2/3 확률로 기각한다.
• 희소 마르코프 체인에 대해서는 상태를 행의 지지 집합 크기에 따라 재가중하고, 이 분포 하에서 부드러운 상태에 대한 가까움을 테스트함으로써 프레임워크를 확장할 수 있다.
• 무방향 그래프의 경우, 균일 분포 테스터를 사용해 복잡도를 감소시킬 수 있으며, 정적 분포가 균일할 경우 더 빠르게 작동한다.