[논문 리뷰] On the Convergence of the Empirical Distribution

Daniel Berend, Aryeh Kontorovich|arXiv (Cornell University)|2012. 05. 30.

Probability and Risk Models참고 문헌 7인용 수 9

한 줄 요약

이 논문은 가чёт 무한 지지체를 가진 경험 분포와 진짜 분포 사이의 총 변동 거리에 대해 날카운 농도 경계를 개발한다. 이는 McDiarmid의 부등식과 기대 $\varepsilon$-편차의 정교한 분석을 사용한다. 유한 지지체에 대한 Devroye의 경계를 개선하여 지수의 상수를 더 견고하게 만들며, 수계 지지체를 가진 분포에 대해 비점근적 尾 꼬리 경계를 수립한다. 이 경계는 균일하게 향상시킬 수 없다는 하한선을 포함한다.

ABSTRACT

We develop a general technique for bounding the tail of the total variation distance between the empirical and the true distributions over countable sets. Our methods sharpen a deviation bound of Devroye (1983) for distributions over finite sets, and also hold for the broader class of distributions with countable support. We also provide some lower bounds of possible independent interest.

연구 동기 및 목표

• 지지체가 가чёт 무한한 경우 경험 분포와 진짜 분포 사이의 총 변동 거리에 대해 점근적이지 않은 尾 꼬리 경계를 수립하기 위해.
• 유한 지지체 분포에 대한 Devroye의 편차 경계를 더 넓은 수계 지지체 분포 계열으로 정교화하고 확장하기 위해.
• 경험 분포와 진짜 분포 사이의 $\ell_1$-거리에 대해 명시적이고 해석적으로 다룰 수 있는 농도 부등식을 제공하기 위해.
• 유도된 경계의 최적성과 증명하기 위해 수렴 속도에 대한 비점근적 하한선을 도출하기 위해.

제안 방법

• 경험 빈도의 기대값으로부터의 $\ell_1$-편차 함수에 McDiarmid의 부등식을 적용하여, 해밍 거리 하에서 2-Lipschitz 함수로 간주한다.
• 이분산 꼬리 추정치를 사용하여 분포를 고확률 원소와 저확률 원소로 분해함으로써 기대 $\ell_1$-편차 $\mathbb{E}[J_n]$ 를 유계화한다.
• 기대 편차를 제어하기 위해 두 부분 분석을 사용한다: $\alpha_n(\boldsymbol{p})$ 는 $1/n$ 이하 확률에 대해, $\beta_n(\boldsymbol{p})$ 는 $1/n$ 초과 확률에 대해.
• 편차가 임의로 느리게 감소하는 분포를 구성함으로써 $\mathbb{E}[J_n]$ 에 하한선을 설정하여, 이 경계의 균일한 향상이 불가능함을 증명한다.
• 이미 알려진 이항 분포 평균 절대편차 결과를 활용하고 점근적 분석을 적용하여 기대 편차에 대한 날카운 경계를 유도한다.
• McDiarmid의 부등식과 기대 편차 경계를 조합하여, 유한한 $k$ 에 대해 $P(J_n > \varepsilon) \leq \exp\left(-\frac{n}{2}(\varepsilon - \sqrt{k/n})^2\right)$ 형태의 尾 꼬리 경계를 유도한다.

실험 결과

연구 질문

• RQ1 Devroye의 경험 분포와 진짜 분포 사이의 $\ell_1$-거리에 대한 유한 지지체 농도 경계는 수계 무한 지지체 분포로 확장될 수 있는가?
• RQ2 지지체가 수계일 경우 $\ell_1$-거리의 尾 꼬리 경계 지수에서 최적의 상수는 무엇인가?
• RQ3 무한 지지체를 가진 분포에 대해 기대 $\ell_1$-편차는 얼마나 빨리 감소할 수 있으며, 이 속도는 모든 이러한 분포에 대해 균일하게 유계화될 수 있는가?
• RQ4 경험 분포가 $\ell_1$에서 진짜 분포로 수렴하는 속도가 임의로 느릴 수 있는 분포가 존재하는가? 만약 그렇다면, 이를 어떻게 수학적으로 기술할 수 있는가?

주요 결과

• 논문은 $\ell_1$-거리에 대한 새로운 尾 꼬리 경계를 수립한다: 지지체 크기가 $k$ 인 분포에 대해 $P(J_n > \varepsilon) \leq \exp\left(-\frac{n}{2}(\varepsilon - \sqrt{k/n})^2\right)$ 로, Devroye의 경계를 개선하여 지수의 상수를 더 견고하게 만들었다.
• 수계 무한 지지체를 가진 분포에 대해, 이 논문은 모든 이러한 분포에 대해 균일하게 성립하는 농도 경계를 도출한다. 이 경계는 고확률 원소와 저확률 원소로 분해함으로써 기대 편차 $\mathbb{E}[J_n]$ 가 유계화됨을 보여준다.
• 논문은 $\ell_1$ 수렴 속도를 균일하게 향상시킬 수 없다는 것을 증명한다: 주어진 수렴 속도 수열 $r_n \searrow 0$ 에 대해, 편차가 무한히 자주 $r_n$ 을 초과하는 분포가 존재함을 보여, 이 속도가 비균일한 의미에서 최적임을 입증한다.
• 기대 $\ell_1$-편차에 대한 하한선을 도출하여, 특정 조건 하에서 $\mathbb{E}[J_n] \geq \Omega(\sqrt{\alpha_n(\boldsymbol{p})/n})$ 임을 보여, 상한선의 날카로움을 입증한다.
• 분석은 Borel-Cantelli 보조정리와 유도된 경계를 통해, 무한 지지체에 대해서도 경험 분포의 $\ell_1$ 수렴이 거의 확실히 완전함을 확인한다.
• 경계는 근사적으로 최적임이 입증되며, 일반적인 논리적 접근을 통해 [1, Theorem 1] 정신에 따라 지수 부분에 대응하는 하한선이 암시됨을 확인하여, 농도 속도의 날카로움을 확인한다.