[論文レビュー] A Polynomial Time Algorithm for Log-Concave Maximum Likelihood via Locally Exponential Families

Brian Axelrod, Ilias Diakonikolas+3 more|arXiv (Cornell University)|Jan 1, 2019

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

この論文は、$ n $ 個の点を $ \mathbb{R}^d $ で扱う最大尤度多変量対数凹型分布を計算する最初の多項式時間アルゴリズムを提示する。最適尤度に対して加法的 $ \eps $-近似を達成する。この手法は局所指数型族への新しい接続を活用し、近似一次法で解ける凸最適化問題に問題を再定式化する。この際、勾配の近似が効率的に行われる。

ABSTRACT

We consider the problem of computing the maximum likelihood multivariate log-concave distribution for a set of points. Specifically, we present an algorithm which, given $n$ points in $\mathbb{R}^d$ and an accuracy parameter $\eps>0$, runs in time $\poly(n,d,1/\eps),$ and returns a log-concave distribution which, with high probability, has the property that the likelihood of the $n$ points under the returned distribution is at most an additive $\eps$ less than the maximum likelihood that could be achieved via any log-concave distribution. This is the first computationally efficient (polynomial time) algorithm for this fundamental and practically important task. Our algorithm rests on a novel connection with exponential families: the maximum likelihood log-concave distribution belongs to a class of structured distributions which, while not an exponential family, ``locally'' possesses key properties of exponential families. This connection then allows the problem of computing the log-concave maximum likelihood distribution to be formulated as a convex optimization problem, and solved via an approximate first-order method. Efficiently approximating the (sub) gradients of the objective function of this optimization problem is quite delicate, and is the main technical challenge in this work.

研究の動機と目的

• 非パラメトリック統計における基本的問題である、最大尤度多変量対数凹型分布を計算する計算効率の良いアルゴリズムの開発。
• このような最大尤度推定が多項式時間で計算可能かどうかという長年の未解決問題に取り組む。
• 対数凹型分布と指数型族の間の新しい理論的関係を確立し、前者が後者の主要な性質を局所的に有することを示す。
• 従来の手法が非効率である高次元設定において、対数凹型密度の実用的かつスケーラブルな推論を可能にする。

提案手法

• アルゴリズムは、最大尤度対数凹型分布が局所的に指数型族に類似する分布のクラスに属することを同定し、凸最適化問題に再定式化可能であることを示す。
• 対数尤度最大化を、対数凹型密度の空間上の凸最適化問題として定式化する。
• 近似一次法を用いて凸最適化問題を解き、多項式時間内で収束を保証する。
• 主な技術的革新は、スケーラビリティと性能に不可欠な、目的関数の部分勾配の効率的近似である。
• 対数凹型密度の幾何的・確率的性質を活用して、勾配近似の誤差を制限する。
• アルゴリズムは $ n $、$ d $、および $ 1/\eps $ に関して多項式時間で実行され、最適尤度に対して $ \eps $-加法的近似を高い確率で達成する。

実験結果

リサーチクエスチョン

• RQ1 最大尤度多変量対数凹型分布は多項式時間で計算可能か？
• RQ2 対数凹型分布が凸最適化技術で近似可能であることを可能にする構造的性質は何か？
• RQ3 高次元設定において、対数尤度目的関数の部分勾配をどのように効率的に近似できるか？
• RQ4 局所指数型族の性質は、指数型族でない分布に対しても効率的最適化を可能にする程度はどの程度か？
• RQ5 加法的 $ \eps $-誤差までに、対数凹型密度のMLEを計算的に効率よく近似する方法はあるか？

主な発見

• 提案されたアルゴリズムは、最適最大尤度推定値から加法的 $ \eps $ の範囲内にある尤度を持つ対数凹型分布を計算する。
• アルゴリズムは $ n $、$ d $、および $ 1/\eps $ に関して多項式時間で実行され、この問題に対する最初の多項式時間解法を確立する。
• 主な洞察は、対数凹型分布が局所的に指数型族に類似しており、これにより凸最適化問題に再定式化可能であるということである。
• 対数凹型密度に特化した新しい幾何的・確率的技術により、部分勾配の効率的近似が達成される。
• 標準的なサンプリング仮定の下で、高い確率で正しく動作することが保証され、実用的利用に耐える。
• 本研究は、非パラメトリック統計における長年の未解決問題を解決し、多変量対数凹型MLEの最初の計算的に効率の良いアルゴリズムを提供する。