[论文解读] A short note on learning discrete distributions

Clément L. Canonne|arXiv (Cornell University)|Feb 25, 2020

Machine Learning and Algorithms参考文献 4被引用 7

一句话总结

本篇笔记为在已知大小为 $k$ 的域上，使用多种距离度量（总变差、Hellinge r、$χ^2$、Kullback–Leibler 及 $ι_{ ext{∞}}$、$\ell_2$、Kolmogorov）学习离散概率分布的样本复杂度提供了简洁、自包含的证明。建立了紧致界，表明对于总变差和 Hellinge r 距离，样本复杂度为 $\Theta\left(\frac{k + \log(1/\delta)}{\varepsilon^2}\right)$；而对于 Kolmogorov、$\ell_\infty$ 和 $\ell_2$ 距离，其样本复杂度为 $\Theta\left(\frac{\log(1/\delta)}{\varepsilon^2}\right)$，与 $k$ 无关。经验分布估计器在所有情况下均达到最优性能。

ABSTRACT

The goal of this short note is to provide simple proofs for the "folklore facts" on the sample complexity of learning a discrete probability distribution over a known domain of size $k$ to various distances $\varepsilon$, with error probability $δ$.

研究动机与目标

• 为分布学习中广为人知但常被假设的样本复杂度边界提供简单、易懂的证明。
• 统一并澄清在多种距离度量（包括总变差、Hellinge r、$\chi^2$、KL 散度及 $\ell_p$ 类型距离）下学习离散分布的样本复杂度。
• 为每种距离度量建立紧致的渐近界，明确其对 $k$、$\varepsilon$ 和 $\delta$ 的依赖关系。
• 证明经验分布估计器在所有考虑的距离度量下均达到最优样本复杂度。
• 通过证明 $\chi^2$ 距离的最优界仍未知，而其他度量的紧致性已确认，从而解决关于 $\chi^2$ 距离的开放问题。

提出的方法

• 以从真实分布 $p$ 独立同分布抽取的样本的归一化计数定义的经验分布估计器 $\tilde{p}$ 为核心学习机制。
• 应用 Jensen 不等式与柯西-施瓦茨不等式，对 $p$ 与 $\tilde{p}$ 之间的期望 $\ell_1$-距离（即总变差）进行上界估计，得到 $\mathbb{E}[\operatorname{d}_{\rm TV}(p,\tilde{p})] \leq \frac{1}{2}\sqrt{k/n}$。
• 应用 McDiarmid 不等式，将期望误差的高概率集中性转化为高置信度学习所需的样本量，表明 $n = \Omega(\log(1/\delta)/\varepsilon^2)$ 足够。
• 通过对所有 $2^k$ 个子集 $S \subseteq [k]$ 使用并集界，通过 Hoeffding 不等式对伯努利和进行估计，以控制 $\tilde{p}(S) > p(S) + \varepsilon$ 的概率。
• 应用 DKW 不等式（含 Massart 常数），建立 Kolmogorov 距离的高概率边界，该边界对连续分布也成立。
• 利用范数不等式及 $\ell_p$ 范数的单调性，关联不同距离度量，并通过比较推导样本复杂度边界。

实验结果

研究问题

• RQ1 在总变差距离下，学习大小为 $k$ 的离散分布的最优样本复杂度是多少？
• RQ2 在 Hellinge r 距离下学习的样本复杂度与在总变差距离下的比较如何？
• RQ3 在 Kullback–Leibler 散度下，样本复杂度是多少？经验估计器是否能达到该复杂度？
• RQ4 为何 Kolmogorov、$\ell_\infty$ 和 $\ell_2$ 距离的样本复杂度与 $k$ 无关？
• RQ5 $\chi^2$ 距离的样本复杂度是否已知？若否，为何仍为开放问题？

主要发现

• 在总变差距离下，样本复杂度为 $\Phi(\operatorname{d}_{\rm TV},k,\varepsilon,\delta) = \Theta\left(\frac{k + \log(1/\delta)}{\varepsilon^2}\right)$，且经验估计器可达到该界。
• 对于 Hellinge r 距离，样本复杂度同样为 $\Theta\left(\frac{k + \log(1/\delta)}{\varepsilon^2}\right)$，该结果通过范数不等式与集中不等式的结合得到证明。
• Kolmogorov、$\ell_\infty$ 和 $\ell_2$ 距离的样本复杂度为 $\Theta\left(\frac{\log(1/\delta)}{\varepsilon^2}\right)$，与 $k$ 无关，其原因在于 DKW 不等式与范数比较。
• Kullback–Leibler 散度的样本复杂度为 $\Theta\left(\frac{k + \log(1/\delta)}{\varepsilon}\right)$，其性能优于基于 $\ell_1$ 的距离的 $\varepsilon^{-2}$ 刻画。
• $\chi^2$ 距离的样本复杂度仍为开放问题，尽管经验估计器在其他所有考虑的距离下均被证明为最优。
• 经验分布估计器在所有讨论的距离度量下均为最优，其紧致界通过集中不等式与范数不等式得到证明。