[논문 리뷰] A short note on learning discrete distributions

Clément L. Canonne|arXiv (Cornell University)|2020. 02. 25.

Machine Learning and Algorithms참고 문헌 4인용 수 7

한 줄 요약

이 노트는 크기가 $k$인 알려진 도메인 위에서 이산 확률 분포를 학습할 때, 총 변동, 헬링거, $\chi^2$, 쿨백-라이블러, 그리고 $\iota_{\infty}$, $\ell_2$, 콜모고로프 거리 측도에 대해 샘플 복잡도에 대한 간결하고 자가 포함된 증명을 제공한다. 엄밀한 경계를 확립하여, 총 변동과 헬링거 거리의 경우 샘플 복잡도가 $\Theta\left(\frac{k + \log(1/\delta)}{\varepsilon^2}\right)$임을 보이고, 콜모고로프, $\ell_\infty$, $\ell_2$의 경우 $\Theta\left(\frac{\log(1/\delta)}{\varepsilon^2}\right)$임을 보이며, 이는 $k$에 무관하다. 경험 분포 추정기는 모든 경우에서 최적 성능을 달성한다.

ABSTRACT

The goal of this short note is to provide simple proofs for the "folklore facts" on the sample complexity of learning a discrete probability distribution over a known domain of size $k$ to various distances $\varepsilon$, with error probability $δ$.

연구 동기 및 목표

• 분포 학습에서 잘 알려진 그러나 종종 가정되는 샘플 복잡도 경계에 대해 단순하고 접근하기 쉬운 증명을 제공하는 것.
• 총 변동, 헬링거, $\\chi^2$, KL 발산, $\ell_p$ 유형 거리 등 여러 거리 측도에서 이산 분포 학습의 샘플 복잡도를 통합하고 명확히 하는 것.
• 각 거리 측도에 대해 엄밀한 渐近 경계를 확립하고, $k$, $\varepsilon$, $\delta$에 대한 명시적 의존성을 제공하는 것.
• 경험 분포 추정기가 고려된 모든 거리 측도에서 최적의 샘플 복잡도를 달성하는 것을 보여주는 것.
• $\chi^2$ 거리에 대한 열린 질문을 해결하기 위해 최적 경계가 아직 알려져 있지 않음을 밝히며, 다른 측도에 대해서는 경계의 엄밀함을 확인하는 것.

제안 방법

• 진짜 분포 $p$에서 i.i.d. 샘플을 취한 빈도를 정규화하여 정의된 경험 분포 추정기 $\tilde{p}$를 핵심 학습 메커니즘으로 사용한다.
• 제네슨 부등식과 코시-슈바르츠 부등식을 적용하여 $p$와 $\tilde{p}$ 사이의 기대 $\ell_1$-거리(총 변동)를 유계로 제한하여 $\mathbb{E}[\operatorname{d}_{\rm TV}(p,\tilde{p})] \leq \frac{1}{2}\sqrt{k/n}$을 도출한다.
• 맥디아미드 부등식을 사용하여 기대 오차에서 고확률 농도로 전환하여, 고신뢰도 학습을 위해 $n = \Omega(\log(1/\delta)/\varepsilon^2)$가 충분함을 보인다.
• 모든 $2^k$개의 부분집합 $S \subseteq [k]$에 대한 유니온 바운드를 사용하여 $\tilde{p}(S) > p(S) + \varepsilon$일 확률을 유계로 제한하고, 베르누이 합에 대해 호프딩 부등식을 활용한다.
• 마스서트 상수를 가진 DKW 부등식을 적용하여, 연속 분포에도 유효한 콜모고로프 거리에 대한 고확률 경계를 확립한다.
• 노름 부등식과 $\ell_p$ 노름의 단조성과 같은 성질을 사용하여 다양한 거리 측도를 비교하고, 비교를 통해 샘플 복잡도 경계를 유도한다.

실험 결과

연구 질문

• RQ1 크기가 $k$인 도메인 위에서 총 변동 거리 측도 하에 이산 분포를 학습할 때 최적의 샘플 복잡도는 무엇인가요?
• RQ2 헬링거 거리에서의 샘플 복잡도는 총 변동 거리에서의 것과 어떻게 비교될 수 있나요?
• RQ3 쿨백-라이블러 발산에서의 샘플 복잡도는 얼마이며, 경험 추정기는 이를 달성합니까?
• RQ4 왜 콜모고로프, $\ell_\infty$, $\ell_2$ 거리에서의 샘플 복잡도가 $k$에 무관합니까?
• RQ5 $\chi^2$ 거리에서의 샘플 복잡도는 알려져 있나요? 만약 그렇지 않다면, 왜 여전히 열려 있는 문제입니까?

주요 결과

• 총 변동 거리에서의 샘플 복잡도는 $\Phi(\operatorname{d}_{\rm TV},k,\varepsilon,\delta) = \Theta\left(\frac{k + \log(1/\delta)}{\varepsilon^2}\right)$이며, 경험 추정기가 이 경계를 달성한다.
• 헬링거 거리의 경우 샘플 복잡도 역시 $\Theta\left(\frac{k + \log(1/\delta)}{\varepsilon^2}\right)$이며, 이는 노름 부등식과 농도 경계의 조합을 통해 증명된다.
• 콜모고로프, $\ell_\infty$, $\ell_2$ 거리의 샘플 복잡도는 $\Theta\left(\frac{\log(1/\delta)}{\varepsilon^2}\right)$이며, 이는 $k$에 무관하다. 이는 DKW 부등식과 노름 비교에 기인한다.
• 쿨백-라이블러 발산의 샘플 복잡도는 $\Theta\left(\frac{k + \log(1/\delta)}{\varepsilon}\right)$이며, 이는 $\ell_1$ 기반 거리의 $\varepsilon^{-2}$ 스케일링보다 엄밀히 더 우수하다.
• $\chi^2$ 거리의 샘플 복잡도는 여전히 열린 문제이며, 경험 추정기가 고려된 다른 모든 거리 측도에서 최적임은 알려져 있다.
• 경험 분포 추정기는 다루어진 모든 거리 측도에서 최적이며, 농도 부등식과 노름 부등식을 통해 엄밀한 경계가 증명되었다.