[论文解读] Learning Multivariate Log-concave Distributions

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|May 26, 2016

Machine Learning and Algorithms参考文献 51被引用 11

一句话总结

本文建立了在 $\mathbb{R}^d$ 上学习多变量对数凹概率密度函数的首个样本复杂度上界，表明 $\tilde{O}_d((1/\epsilon)^{(d+5)/2})$ 个样本足以在总变差距离下实现 $\epsilon$-精度。该结果填补了已知下界与 $d > 3$ 时首个非平凡上界之间的差距，几乎逼近信息论极限。

ABSTRACT

We study the problem of estimating multivariate log-concave probability density functions. We prove the first sample complexity upper bound for learning log-concave densities on $\mathbb{R}^d$, for all $d \geq 1$. Prior to our work, no upper bound on the sample complexity of this learning problem was known for the case of $d>3$. In more detail, we give an estimator that, for any $d \ge 1$ and $ε>0$, draws $ ilde{O}_d \left( (1/ε)^{(d+5)/2} ight)$ samples from an unknown target log-concave density on $\mathbb{R}^d$, and outputs a hypothesis that (with high probability) is $ε$-close to the target, in total variation distance. Our upper bound on the sample complexity comes close to the known lower bound of $Ω_d \left( (1/ε)^{(d+1)/2} ight)$ for this problem.

研究动机与目标

• 建立在所有 $d \geq 1$ 的 $\mathbb{R}^d$ 上学习多变量对数凹密度的首个样本复杂度上界，特别是填补 $d > 3$ 时此前无上界存在的空白。
• 弥合已知的 $\Omega_d((1/\epsilon)^{(d+1)/2})$ 样本复杂度下界与该问题首个非平凡上界之间的差距。
• 提供一种结构化近似框架，使得能够使用有限个半空间和分段线性函数高效估计对数凹密度。
• 通过刻画估计器中使用的近似类的 VC 维，为未来算法开发奠定基础。

提出的方法

• 作者设计了一种非参数估计器，通过在 $\mathbb{R}^d$ 的多面体划分上使用有限个半空间构造的分段线性函数来近似真实对数凹密度。
• 他们定义了一个函数类 $\mathcal{A}_{d,\epsilon}$，利用有限个半空间交集来表示等高集，从而捕捉候选密度与目标之间的变差距离。
• 该方法依赖于一个结构结果：对于两个对数凹密度 $g$ 和 $g'$，集合 $\{x : g(x) \geq g'(x)\}$ 可表示为有限个半空间交集的并集，从而实现有限表示。
• 通过有限样本集中半空间交集的可能数量，对近似类 $\mathcal{A}_{d,\epsilon}$ 的 VC 维进行有界，得出其上界为 $O_d((1/\epsilon)^{(d+1)/2} \log^2(1/\epsilon))$。
• 估计器通过使用候选密度的网对密度空间进行离散化构造，样本复杂度通过在总变差距离下用 $\epsilon$-球覆盖该空间推导得出。
• 最终的样本复杂度上界通过结合 VC 维上界与一致收敛性论证得出，确保以高概率实现 $\epsilon$-精度。

实验结果

研究问题

• RQ1 学习 $\mathbb{R}^d$ 上任意对数凹密度函数，达到总变差距离下 $\epsilon$-精度所需的信息论样本复杂度是多少？
• RQ2 当 $d > 3$ 时，能否为多变量对数凹密度估计建立一个非平凡的样本复杂度上界，而此前该问题尚无此类上界？
• RQ3 学习对数凹密度的样本复杂度能多接近已知的 $\Omega_d((1/\epsilon)^{(d+1)/2})$ 下界？
• RQ4 是否存在对数凹密度的结构表征，使得能够使用有限个几何对象（如半空间）实现高效近似？
• RQ5 所提出的估计器在高维下是否具有计算效率，还是仅限于信息论上界？

主要发现

• 本文建立了在 $\mathbb{R}^d$ 上学习多变量对数凹密度的首个样本复杂度上界，适用于所有 $d \geq 1$，实现总变差距离下 $\epsilon$-精度仅需 $\tilde{O}_d((1/\epsilon)^{(d+5)/2})$ 个样本。
• 该上界与已知的 $\Omega_d((1/\epsilon)^{(d+1)/2})$ 下界仅相差 $\tilde{O}_d(\epsilon^{-2})$ 因子，表明其近乎最优。
• 近似类 $\mathcal{A}_{d,\epsilon}$ 的 VC 维被有界为 $O_d((1/\epsilon)^{(d+1)/2} \log^2(1/\epsilon))$，这对推导样本复杂度上界至关重要。
• 作者证明了两个对数凹密度之间的总变差距离可通过其差的 $\mathcal{A}_{d,c\epsilon}$-范数控制，从而可将问题简化为有限维近似问题。
• 关键结构结果表明，两个对数凹密度 $g$ 和 $g'$ 的集合 $\{x : g(x) \geq g'(x)\}$ 可表示为有限个半空间交集的并集，该结果是分析的核心，并实现了有限表示。
• 本文仍留待开放的问题是：在一般维度下，是否存在多项式时间算法用于学习对数凹密度，尽管 $d=1$ 时此类算法已知。