[论文解读] A Polynomial Time Algorithm for Maximum Likelihood Estimation of Multivariate Log-concave Densities

Ilias Diakonikolas, Anastasios Sidiropoulos+1 more|arXiv (Cornell University)|Dec 13, 2018

Markov Chains and Monte Carlo Methods参考文献 58被引用 4

一句话总结

本文提出了首个计算多元对数凹密度最大似然估计（MLE）的多项式时间算法。通过将问题表述为凸优化任务，并利用凸体的体积和采样近似技术的高效随机次梯度方法，该算法在时间 $\mathrm{poly}(n,d,1/\epsilon)$ 内实现了 $\epsilon$-近似，解决了非参数统计与理论计算机科学中长期存在的开放问题。

ABSTRACT

We study the problem of computing the maximum likelihood estimator (MLE) of multivariate log-concave densities. Our main result is the first computationally efficient algorithm for this problem. In more detail, we give an algorithm that, on input a set of $n$ points in $\mathbb{R}^d$ and an accuracy parameter $ε>0$, it runs in time $ ext{poly}(n, d, 1/ε)$, and outputs a log-concave density that with high probability maximizes the log-likelihood up to an additive $ε$. Our approach relies on a natural convex optimization formulation of the underlying problem that can be efficiently solved by a projected stochastic subgradient method. The main challenge lies in showing that a stochastic subgradient of our objective function can be efficiently approximated. To achieve this, we rely on structural results on approximation of log-concave densities and leverage classical algorithmic tools on volume approximation of convex bodies and uniform sampling from convex sets.

研究动机与目标

• 开发一种计算多元对数凹密度最大似然估计（MLE）的计算高效算法。
• 克服先前方法中对维度 $d$ 的指数依赖，例如 [CSS10] 中的 $\mathrm{poly}(n^d)$ 算法。
• 为高维中学习多元对数凹密度提供一种严格、高效且可证明正确的方法。
• 建立首个在 $n$、$d$ 和 $1/\epsilon$ 上为多项式时间的多元对数凹密度的正规学习算法。

提出的方法

• 将对数凹MLE问题表述为对数凹密度空间上的凸优化问题。
• 使用投影随机次梯度法高效求解凸优化问题。
• 通过密度超水平集的均匀采样近似随机次梯度，利用体积估计算法。
• 应用凸体的体积近似与均匀采样算法，高效估计次梯度并归一化密度。
• 使用带有估计归一化常数的拒绝采样框架，模拟候选密度并估计似然。
• 将这些组件整合为一个递归算法，利用集中不等式与并集界确保 $\epsilon$ 内的精度。

实验结果

研究问题

• RQ1 多元对数凹MLE是否能在样本量 $n$、维度 $d$ 和逆精度 $1/\epsilon$ 的多项式时间内计算？
• RQ2 是否能够实现MLE计算对维度 $d$ 的次指数依赖，从而克服先前方法中 $\mathrm{poly}(n^d)$ 的瓶颈？
• RQ3 能否将高效的采样与体积估计技术与凸优化结合，以解决非参数MLE问题？
• RQ4 对两组对数凹分布的混合物，MLE的计算复杂度是多少？该框架是否可扩展至此类情形？

主要发现

• 所提出的算法在时间 $\mathrm{poly}(n,d,1/\epsilon)$ 内计算出 $\epsilon$-近似对数凹MLE，首次实现了该问题的多项式时间解法。
• 该算法以最多 $\tau$ 的失败概率实现高概率正确性，运行时间 $\mathrm{poly}(n,d,\log R,1/\delta,\log(1/\tau))$，其中 $R$ 是输入点的有界值。
• 该方法依赖于通过超水平集的体积与采样预言机近似随机次梯度，这些预言机可利用已知算法高效实现。
• 候选密度的归一化常数 $\alpha$ 的估计误差为 $O(\delta)$，确保输出分布与真实目标之间的总变差距离为 $O(\delta)$。
• 该算法确保估计密度 $\widetilde{\phi}$ 几乎必然满足 $\|\widetilde{\phi} - \phi\|_1 \leq 10\delta$。
• 该框架为多元对数凹密度提供了正规学习算法，其运行时间在 $1/\epsilon$ 的对数尺度下与样本量 $n$ 无关。