[论文解读] A Polynomial Time Algorithm for Log-Concave Maximum Likelihood via Locally Exponential Families

Brian Axelrod, Ilias Diakonikolas+3 more|arXiv (Cornell University)|Jan 1, 2019

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出了首个针对 $ n $ 个点在 $ \mathbb{R}^d $ 中计算最大似然多变量对数凹分布的多项式时间算法，实现了对最优似然的加法 $ \eps $-近似。该方法利用了与局部指数族之间的新联系，将问题重新表述为可通过近似一阶方法求解的凸优化任务，其中子梯度可高效近似。

ABSTRACT

We consider the problem of computing the maximum likelihood multivariate log-concave distribution for a set of points. Specifically, we present an algorithm which, given $n$ points in $\mathbb{R}^d$ and an accuracy parameter $\eps>0$, runs in time $\poly(n,d,1/\eps),$ and returns a log-concave distribution which, with high probability, has the property that the likelihood of the $n$ points under the returned distribution is at most an additive $\eps$ less than the maximum likelihood that could be achieved via any log-concave distribution. This is the first computationally efficient (polynomial time) algorithm for this fundamental and practically important task. Our algorithm rests on a novel connection with exponential families: the maximum likelihood log-concave distribution belongs to a class of structured distributions which, while not an exponential family, ``locally'' possesses key properties of exponential families. This connection then allows the problem of computing the log-concave maximum likelihood distribution to be formulated as a convex optimization problem, and solved via an approximate first-order method. Efficiently approximating the (sub) gradients of the objective function of this optimization problem is quite delicate, and is the main technical challenge in this work.

研究动机与目标

• 开发一种计算高效的算法，用于计算最大似然多变量对数凹分布，这是非参数统计中的一个基本问题。
• 解决长期悬而未决的开放问题：此类最大似然估计是否可在多项式时间内计算。
• 建立对数凹分布与指数族之间新颖的理论联系，表明前者在局部上继承了后者的若干关键性质。
• 实现对高维设置下对数凹密度的实用且可扩展的推断，其中传统方法不可行。

提出的方法

• 该算法识别出最大似然对数凹分布属于一类在局部上类似于指数族的分布，从而实现凸优化的重新表述。
• 将对数似然最大化问题表述为对数凹密度空间上的凸优化问题。
• 采用近似一阶方法求解凸优化问题，确保在多项式时间内收敛。
• 关键技术突破在于对目标函数子梯度的高效近似，这对可扩展性和性能至关重要。
• 该方法利用对数凹密度的几何与概率性质，对梯度近似误差进行有界控制。
• 该算法在 $ n $、$ d $ 和 $ 1/\eps $ 的多项式时间内运行，以高概率实现对最优似然的 $ \eps $-加法近似。

实验结果

研究问题

• RQ1 最大似然多变量对数凹分布是否可在多项式时间内计算？
• RQ2 对数凹分布的何种结构特性使其可通过凸优化技术实现近似？
• RQ3 在高维设置下，如何高效近似对数似然目标函数的子梯度？
• RQ4 局部指数族性质在多大程度上能够实现对非指数族分布的高效优化？
• RQ5 是否存在一种计算高效的算法，可将对数凹密度的 MLE 近似到加法 $ \eps $-误差范围内？

主要发现

• 所提出的算法计算出的对数凹分布，其似然值与最优最大似然估计的差值在加法 $ \eps $ 以内。
• 该算法在 $ n $、$ d $ 和 $ 1/\eps $ 的多项式时间内运行，首次建立了该问题的多项式时间解法。
• 关键洞见在于：对数凹分布的局部行为类似于指数族，从而支持凸优化的重新表述。
• 通过专为对数凹密度设计的新颖几何与概率技术，实现了子梯度的高效近似。
• 在标准抽样假设下，该方法确保了高概率正确性，使其在实际应用中具有鲁棒性。
• 该工作通过提供首个计算高效的多变量对数凹 MLE 算法，解决了非参数统计领域长期悬而未决的开放问题。