[논문 리뷰] Concentration Inequalities for the Empirical Distribution

Jay Mardia, Jiantao Jiao외 3명|arXiv (Cornell University)|2018. 09. 18.

Markov Chains and Monte Carlo Methods참고 문헌 13인용 수 8

한 줄 요약

이 논문은 이산 랜덤 변수의 경험적 분포와 진짜 분포 사이의 Kullback–Leibler (KL) 발산에 대한 개선된 농도 부등식을 제안한다. 이는 기존의 유형 방법보다 모든 표본 크기 및 알파벳 크기에서 뛰어난 성능을 보이는 새로운 재귀 기반 기법을 사용한다. 주요 기여는 KL 발산의 분산에 대한 더 날카운 변동 범위를 제공하며, 이는 $\min\left(\frac{6(\log k + 3)^2}{n}, C\frac{k}{n^2}\right)$로 스케일링되며, 특히 알파벳 크기 $k$가 클 경우 비점근적 성능을 크게 향상시킨다.

ABSTRACT

We study concentration inequalities for the Kullback--Leibler (KL) divergence between the empirical distribution and the true distribution. Applying a recursion technique, we improve over the method of types bound uniformly in all regimes of sample size $n$ and alphabet size $k$, and the improvement becomes more significant when $k$ is large. We discuss the applications of our results in obtaining tighter concentration inequalities for $L_1$ deviations of the empirical distribution from the true distribution, and the difference between concentration around the expectation or zero. We also obtain asymptotically tight bounds on the variance of the KL divergence between the empirical and true distribution, and demonstrate their quantitatively different behaviors between small and large sample sizes compared to the alphabet size.

연구 동기 및 목표

• 표본 크기 $n$이 알파벳 크기 $k$와 비슷하거나 $k$가 클 때 비점근적 영역에서 유형 방법의 한계를 해결하기 위해.
• 이산 분포에서 경험적 분포와 진짜 분포 사이의 KL 발산에 대한 개선된 농도 부등식을 유도하기 위해.
• 작은 표본과 큰 표본 영역에서의 상이한 행동 양상을 반영하는 KL 발산의 분산에 대한 더 날카운 경계를 제공하기 위해.
• 개선된 KL 농도를 통해 Pinsker의 부등식을 활용하여 더 날카운 $L_1$ 이탈 경계를 확보하기 위해.

제안 방법

• 재귀 기법을 통해 $k$차원 문제를 더 작은 $k-1$ 사례로 줄여 분산 경계를 더 날카롭게 만들었다.
• 조건부 확률과 곱의 법칙을 사용하여 KL 발산을 분해하고, 이를 통해 모멘트를 재귀적으로 제어하였다.
• 모멘트 계산과 다항분포의 성질을 활용하여 분산 경계를 도출하였으며, 교차항에 대한 명시적 제어를 구현하였다.
• 볼록성과 적분 부등식(예: Jensen의 부등식)을 활용하여 이산 분포 위에서 볼록 함수의 합을 경계하였다.
• 특히 이진 및 일반적인 $k$-원 분포의 경우, KL 발산의 지수적 모멘트에 대한 분석적 경계를 계산하였다.
• 포isson화 모델에서 점근적 분산 하한을 확립하여 유도된 상한 경계의 점근적 날카움을 확인하였다.

실험 결과

연구 질문

• RQ1 표본 크기 $n$과 알파벳 크기 $k$가 유사하거나 $k$가 클 때 비점근적 영역에서 KL 발산에 대한 유형 방법 경계를 어떻게 개선할 수 있는가?
• RQ2 KL 발산의 분산이 $n$과 $k$에 대해 비점근적으로 어떻게 의존하는가?
• RQ3 개선된 KL 경계를 사용하여 경험적 분포와 진짜 분포 사이의 $L_1$ 이탈에 대한 더 날카운 농도 부등식을 유도할 수 있는가?
• RQ4 표본 크기 $n$이 알파벳 크기 $k$에 비해 작거나 클 경우, KL 발산 분산의 행동은 어떻게 다를까?
• RQ5 유도된 KL 발산 분산 경계는 점근적으로 날카운가?

주요 결과

• 제안된 방법은 $n$과 $k$의 모든 영역에서 유형 방법을 균일하게 초월하며, $k$가 클수록 성능 향상이 더 두드러진다.
• KL 발산의 분산은 $\min\left(\frac{6(\log k + 3)^2}{n}, C\frac{k}{n^2}\right)$로 경계되며, 이는 큰 $k$ 영역에서 유형 방법보다 더 날카롭다.
• 이진 분포($k=2$)의 경우, $\mathbb{P}(D(\hat{P}_{n,2}\|P) \geq \epsilon) \leq 2e^{-n\epsilon}$라는 경계가 확립되었으며, 이는 유형 방법에서의 $(n+1)e^{-n\epsilon}$ 경계를 개선했다.
• 점근적 분산 하한은 $\lim_{n\to\infty} 4n^2 \mathsf{Var}[D(\hat{P}_{n,k}\|P)] \geq 2(k-1)$로 나타나며, 이는 $k/n^2$ 스케일링이 점근적으로 날카운다는 것을 확인한다.
• 논문은 KL 발산의 분산이 작은 표본 영역과 큰 표본 영역에서 정성적으로 다른 행동을 보이며, 각각 다른 스케일링 법칙을 따른다는 것을 보였다.
• 유도된 경계는 Pinsker의 부등식을 통해 $L_1$ 이탈 불등식을 향상시키는 데 사용되었으며, 경험적 분포 추정의 농도를 더 날카롭게 하였다.