[論文レビュー] A Polynomial Time Algorithm for Maximum Likelihood Estimation of Multivariate Log-concave Densities

Ilias Diakonikolas, Anastasios Sidiropoulos+1 more|arXiv (Cornell University)|Dec 13, 2018

Markov Chains and Monte Carlo Methods参考文献 58被引用数 4

ひとこと要約

本稿では、多変量対数凸密度の最尤推定量（MLE）を計算する最初の多項式時間アルゴリズムを提示する。問題を凸最適化問題として定式化し、凸体の体積およびサンプリング近似を用いた効率的な確率的勾配降下法を活用することで、時間 $\mathrm{poly}(n,d,1/ au)$ で $\epsilon$-近似が達成され、非パラメトリック統計および理論的コンピュータ科学における長年の未解決問題が解決される。

ABSTRACT

We study the problem of computing the maximum likelihood estimator (MLE) of multivariate log-concave densities. Our main result is the first computationally efficient algorithm for this problem. In more detail, we give an algorithm that, on input a set of $n$ points in $\mathbb{R}^d$ and an accuracy parameter $ε>0$, it runs in time $ ext{poly}(n, d, 1/ε)$, and outputs a log-concave density that with high probability maximizes the log-likelihood up to an additive $ε$. Our approach relies on a natural convex optimization formulation of the underlying problem that can be efficiently solved by a projected stochastic subgradient method. The main challenge lies in showing that a stochastic subgradient of our objective function can be efficiently approximated. To achieve this, we rely on structural results on approximation of log-concave densities and leverage classical algorithmic tools on volume approximation of convex bodies and uniform sampling from convex sets.

研究の動機と目的

• 多変量対数凸密度の最尤推定量（MLE）を計算する計算効率の良いアルゴリズムを開発すること。
• 従来の手法に見られる次元 $d$ に対する指数的依存を克服すること、特に [CSS10] の $\mathrm{poly}(n^d)$ アルゴリズムにおける問題を解消すること。
• 高次元における多変量対数凸密度の学習に対して、厳密で効率的かつ正当な正しい手法を提供すること。
• 多項式時間で $n$, $d$, および $1/\epsilon$ に依存する、最初の適切な学習アルゴリズムを確立すること。

提案手法

• 対数凸MLE問題を、対数凸密度の空間上の凸最適化問題として定式化する。
• 効率的に凸最適化問題を解くために、投影確率的勾配降下法を用いる。
• 密度の上位集合からの一様サンプリングを活用し、体積推定アルゴリズムを用いて確率的勾配を近似する。
• 凸体の体積近似および一様サンプリングアルゴリズムを適用し、勾配と密度の正規化を効率的に推定する。
• 推定された正規化定数を用いた棄却サンプリングフレームワークを用いて、候補密度からのシミュレーションと尤度推定を行う。
• これらの要素を再帰的アルゴリズムに統合し、集中限界および和集合限界を用いて $\epsilon$ の精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 多変量対数凸MLEは、標本サイズ $n$、次元 $d$、逆精度 $1/\epsilon$ に関して多項式時間で計算可能か？
• RQ2 従来の手法が抱える $\mathrm{poly}(n^d)$ のボトルネックを克服し、MLE計算における次元 $d$ に対する指数的依存を低減することは可能か？
• RQ3 効率的なサンプリングおよび体積推定技術を凸最適化と組み合わせることで、非パラメトリックMLE問題を解くことは可能か？
• RQ4 2つの対数凸分布の混合物のMLEの計算複雑度は何か？また、このフレームワークはこのような設定に拡張可能か？

主な発見

• 提案されたアルゴリズムは、時間 $\mathrm{poly}(n,d,1/\epsilon)$ で $\epsilon$-近似の対数凸MLEを計算し、この問題に対する最初の多項式時間解法を達成する。
• 失敗確率が $\tau$ 以下である高確率での正しさを達成し、$\mathrm{poly}(n,d,\log R,1/\delta,\log(1/\tau))$ 時間で実行される。ここで $R$ は入力点の上限である。
• この手法は、超レベル集合の体積およびサンプリングオракルによる確率的勾配の近似に依存しており、既知のアルゴリズムを用いて効率的に実装可能である。
• 候補密度の正規化定数 $\alpha$ は誤差 $O(\delta)$ で推定され、出力分布が真のターゲットと全変動距離 $O(\delta)$ 以内であることを保証する。
• アルゴリズムは、高確率で推定密度 $\widetilde{\phi}$ が $\|\widetilde{\phi} - \phi\|_1 \leq 10\delta$ を満たすことを保証する。
• このフレームワークは、多変量対数凸密度の適切な学習アルゴリズムを提供し、$n$ のログスケールにおける $1/\epsilon$ に依存しない実行時間を持つ。