[논문 리뷰] Testing Closeness With Unequal Sized Samples

Bhaswar B. Bhattacharya, Gregory Valiant|arXiv (Cornell University)|2015. 04. 17.

Machine Learning and Algorithms참고 문헌 23인용 수 11

한 줄 요약

이 논문은 표본 크기가 다를 때 두 이산 분포 간의 유사도를 측정하기 위한 통계적 검정을 제안하며, 최적의 표본 복잡도를 달성하는 새로운 단순한 검정 통계량을 도입한다. $ m_1 = \Theta(n^{2/3}/\varepsilon^{4/3}) $ 및 $ m_2 = \Omega(\max\{n/\sqrt{m}_1\varepsilon^2, \sqrt{n}/\varepsilon^2\}) $ 는 $ p = q $ 와 $ \|p - q\|_1 \geq \varepsilon $ 를 구분하기 위해 필수적이고도 충분한 것으로 밝혀졌으며, 이는 이전 작업에 비해 $ n $ 과 $ \varepsilon $ 에 대한 의존도를 개선한, 표본 수가 부족한 상황에서의 문제를 해결한다.

ABSTRACT

We consider the problem of closeness testing for two discrete distributions in the practically relevant setting of \emph{unequal} sized samples drawn from each of them. Specifically, given a target error parameter $\varepsilon > 0$, $m_1$ independent draws from an unknown distribution $p,$ and $m_2$ draws from an unknown distribution $q$, we describe a test for distinguishing the case that $p=q$ from the case that $||p-q||_1 \geq \varepsilon$. If $p$ and $q$ are supported on at most $n$ elements, then our test is successful with high probability provided $m_1\geq n^{2/3}/\varepsilon^{4/3}$ and $m_2 = Ω(\max\{\frac{n}{\sqrt m_1\varepsilon^2}, \frac{\sqrt n}{\varepsilon^2}\});$ we show that this tradeoff is optimal throughout this range, to constant factors. These results extend the recent work of Chan et al. who established the sample complexity when the two samples have equal sizes, and tightens the results of Acharya et al. by polynomials factors in both $n$ and $\varepsilon$. As a consequence, we obtain an algorithm for estimating the mixing time of a Markov chain on $n$ states up to a $\log n$ factor that uses $ ilde{O}(n^{3/2} τ_{mix})$ queries to a "next node" oracle, improving upon the $ ilde{O}(n^{5/3}τ_{mix})$ query algorithm of Batu et al. Finally, we note that the core of our testing algorithm is a relatively simple statistic that seems to perform well in practice, both on synthetic data and on natural language data.

연구 동기 및 목표

• 표본 크기가 다를 때 두 이산 분포가 동일한지 혹은 $ \ell_1 $-거리로 분리되어 있는지를 테스트하는 기본 문제를 다루는 것.
• 표본 크기가 지원 크기 $ n $ 보다 작은 표본 부족 상황에서의 유사도 검정에 대한 표본 복잡도 경계의 격차를 메우는 것.
• 분포 $ p $ 와 $ q $ 에서 각각 추출된 표본 크기 $ m_1 $ 과 $ m_2 $ 간의 통합적이고 최적의 트레이드오프를 제공하여 $ p = q $ 와 $ \|p - q\|_1 \geq \varepsilon $ 를 구분하는 것.

제안 방법

• 표본 크기가 다를 때의 강건성을 향상시키기 위해 경험 빈도 차이와 정규화 항을 조합한 새로운 검정 통계량을 제안한다.
• 두 부분으로 나누어진 검정: 대부분의 파rameter 영역에서는 표준적인 $ \ell_1 $-기반 통계량을 사용하고, $ m_1 \approx n $ 일 때는 새로운 추가 통계량을 적용한다.
• 농도 부등식과 모멘트 기반 분석(Valiant의 프레임워크를 활용)을 통해 오류 확률을 경계하고 최적성을 확립한다.
• 포isson화 기법과 모멘트 비교를 활용하여 필요한 표본 크기의 하한을 유도한다.
• 표본 크기 $ m_1 $ 과 $ m_2 $ 간의 상호 교환 관계를 분석하여 엄밀한 표본 복잡도 경계를 유도하며, 상수 요소 수준에서 최적성을 입증한다.
• 합성 데이터와 자연어 데이터(예: 이중어 표본을 이용한 동의어 탐지)에서 검정의 실용적 성능을 검증한다.

실험 결과

연구 질문

• RQ1 두 이산 분포 간의 유사도를 검정할 때 표본 크기 $ m_1 $ 과 $ m_2 $ 간의 최적 트레이드오프는 무엇인가?
• RQ2 일반적인 $ m_1 $ 과 $ m_2 $ 범위, 특히 $ m_1 \approx n $ 와 같은 극단적 영역에서도 최적 성능을 달성할 수 있는 단일이고 간단한 검정 통계량을 사용할 수 있는가?
• RQ3 표본 크기가 다를 경우, 즉 한 쪽 표본이 다른 쪽보다 훨씬 작을 경우, 동일한 표본 크기의 경우와 비교해 표본 복잡도는 어떻게 변화하는가?
• RQ4 이질적 표본 크기 설정에서 $ p = q $ 와 $ \|p - q\|_1 \geq \varepsilon $ 를 구분하기 위해 필요한 최소 표본 수에 대한 정보 이론적 하한은 무엇인가?
• RQ5 제안된 검정은 마코프 체인의 혼합 시간을 추정하는 기존 알고리즘을 향상시키는 데 적용될 수 있는가?

주요 결과

• 제안된 검정은 최적의 표본 복잡도를 달성한다: $ m_1 = \Theta(n^{2/3}/\varepsilon^{4/3}) $ 와 $ m_2 = \Omega(\max\{n/\sqrt{m}_1\varepsilon^2, \sqrt{n}/\varepsilon^2\}) $ 로, 상수 요소 수준에서 하한과 일치한다.
• 표본 크기가 동일한 경우의 $ \Theta(n^{2/3}) $ 경계와 한 분포가 알려진 경우의 $ \Theta(\sqrt{n}/\varepsilon^2) $ 경계 사이를 부드럽게 보간한다.
• 극단적인 경우인 $ m_1 \approx n $ 에서도 검정은 전체 매개변수 범위에서 최적이다. 이 경우는 새로운 추가 통계량이 필요하다.
• 마코프 체인의 $ n $ 개 상태에서 혼합 시간을 추정하는 데 필요한 질의 복잡도를 $ \tilde{O}(n^{5/3}\tau_{\text{mix}}) $ 에서 $ \tilde{O}(n^{3/2}\tau_{\text{mix}}) $ 로 개선한다.
• 핵심 검정 통계량은 이론적으로 최적이며, 합성 데이터와 실제 자연어 데이터(예: 자연어 응용) 모두에서 실용적으로 효과적이다.
• 하한 증명을 통해 $ m_1 \geq n^{2/3}/\varepsilon^{4/3} $ 일 경우 $ q $ 에서 $ \Omega(n/\sqrt{m}_1\varepsilon^2) $ 개의 표본이 필요하다고 확인하여 상한의 엄밀함을 입증한다.