[論文レビュー] Near-Optimal Sample Complexity Bounds for Maximum Likelihood Estimation of Multivariate Log-concave Densities

Timothy S. Carpenter, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Feb 28, 2018

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿は、多変量対数凸密度の最尤推定（MLE）の近似的最適な標本量の下限を確立する。サポート構造の分析と集中不等式を活用することで、MLEが $\alpha \leq 1$ を満たし、$\epsilon$-精度を高確率で達成するための標本サイズの下限を導出する。これにより、対数凸性の下での非パラメトリック密度推定に対して、タイトな理論的保証が得られる。

ABSTRACT

We study the problem of learning multivariate log-concave densities with respect to a global loss function. We obtain the first upper bound on the sample complexity of the maximum likelihood estimator (MLE) for a log-concave density on $\mathbb{R}^d$, for all $d \geq 4$. Prior to this work, no finite sample upper bound was known for this estimator in more than $3$ dimensions. In more detail, we prove that for any $d \geq 1$ and $ε>0$, given $ ilde{O}_d((1/ε)^{(d+3)/2})$ samples drawn from an unknown log-concave density $f_0$ on $\mathbb{R}^d$, the MLE outputs a hypothesis $h$ that with high probability is $ε$-close to $f_0$, in squared Hellinger loss. A sample complexity lower bound of $Ω_d((1/ε)^{(d+1)/2})$ was previously known for any learning algorithm that achieves this guarantee. We thus establish that the sample complexity of the log-concave MLE is near-optimal, up to an $ ilde{O}(1/ε)$ factor.

研究の動機と目的

• 多変量対数凸密度の最尤推定（MLE）のタイトな標本量の下限を確立すること。
• MLEのサポート構造と真の密度との関係をパラメータ $\alpha$ を用いて分析すること。
• $p_{\text{min}}$ および $M_{f_0}$ を用いて、サポート集合 $S$ の体積に関する確率的下限を導出すること。
• 近似的最適な標本サイズを用いて、MLE が高確率で $\epsilon$-精度を達成することを示すこと。
• 対数凸性の下での非パラメトリック密度推定におけるMLEの効率性に対する理論的根拠を提供すること。

提案手法

• サポート $S$ 上で $g(x) = \alpha \hat{f}_n(x)$ を定義し、$\alpha$ を正規化定数とする。
• 補題 LABEL:lem:mle_support を用いて、$S$ 上でのMLEの積分を用いて $\alpha \leq 1$ を上限付ける。
• 系 LABEL:lem:S_def を適用し、$M_{f_0}$ および $n$, $\tau$ を用いて $S$ の体積を上限付ける。
• 推定誤差を制御するための不等式 $p_{\text{min}} \cdot \mathrm{vol}(S) \leq \epsilon/32$ を導出する。
• 集中不等式とサポート体積の推定値を組み合わせて、標本量の下限を確立する。
• $p_{\text{min}}$, $M_{f_0}$, および $n$ の関係を用いて、MLE が高確率で $\epsilon$-精度を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 多変量対数凸密度のMLEが $\epsilon$-精度を達成するための最小標本サイズは何か？
• RQ2 対数凸性の下で、MLE のサポート構造は真の密度とどのように関係するか？
• RQ3 MLE の正規化定数 $\alpha$ は、一貫性を保証するために上限付け可能か？
• RQ4 $p_{\text{min}}$ および $M_{f_0}$ は、サポート集合 $S$ の体積を制御するために果たす役割は何か？
• RQ5 対数凸密度の下でのMLEの結果として得られる標本量の下限は、どれほどタイトか？

主な発見

• 正規化定数 $\alpha$ は $\alpha \leq 1$ を満たし、MLE が適切に定義されかつ一貫性を有することを保証する。
• サポート集合 $S$ の体積は $O((\ln(100n^4/\tau^2))^{d}) / M_{f_0}$ で上限付けられ、これが推定誤差を制御する。
• $p_{\text{min}} \cdot \mathrm{vol}(S)$ は $\epsilon/32$ で上限付けられ、高確率での $\epsilon$-精度を保証する。
• 標本量は近的最適であり、次元 $d$ および誤差許容値 $\epsilon$ に適切にスケーリングされる。
• 導出された $p_{\text{min}}$ およびサポート体積の下限に基づき、MLE は高確率で $\epsilon$-精度を達成する。
• 理論的枠組みにより、$M_{f_0}$, $n$, および $\tau$ を推定誤差に結びつけることで、下限のタイトさが確立される。