[論文レビュー] Optimality of Maximum Likelihood for Log-Concave Density Estimation and Bounded Convex Regression

Gil Kur, Yuval Dagan+1 more|arXiv (Cornell University)|Mar 13, 2019

Statistical Methods and Inference参考文献 54被引用数 18

ひとこと要約

本稿は、高次元（$d \geq 4$）における対数凸密度推定および有界凸回帰における最尤推定（MLE）のミニマックス最適性を確立し、$d \geq 4$ の場合に、二乗ヘルンギャー距離および$L_2$距離において、$\Theta_d(n^{-2/(d+1)})$ の収束速度を達成することを示している。これは、$d \leq 3$ の場合に既に知られていた最適性結果を拡張するものである。さらに、全変動距離における鋭い$\Theta_d(n^{-2/(d+4)})$ のミニマックスレートを導出し、対数凸密度を推定するには次元に指数関数的に多くの標本が必要であることを証明し、下界における次元定数を改善した。

ABSTRACT

In this paper, we study two problems: (1) estimation of a $d$-dimensional log-concave distribution and (2) bounded multivariate convex regression with random design with an underlying log-concave density or a compactly supported distribution with a continuous density. First, we show that for all $d \ge 4$ the maximum likelihood estimators of both problems achieve an optimal risk of $Θ_d(n^{-2/(d+1)})$ (up to a logarithmic factor) in terms of squared Hellinger distance and $L_2$ squared distance, respectively. Previously, the optimality of both these estimators was known only for $d\le 3$. We also prove that the $ε$-entropy numbers of the two aforementioned families are equal up to logarithmic factors. We complement these results by proving a sharp bound $Θ_d(n^{-2/(d+4)})$ on the minimax rate (up to logarithmic factors) with respect to the total variation distance. Finally, we prove that estimating a log-concave density - even a uniform distribution on a convex set - up to a fixed accuracy requires the number of samples \emph{at least} exponential in the dimension. We do that by improving the dimensional constant in the best known lower bound for the minimax rate from $2^{-d}\cdot n^{-2/(d+1)}$ to $c\cdot n^{-2/(d+1)}$ (when $d\geq 2$).

研究の動機と目的

• 高次元（$d \geq 4$）における対数凸密度推定および有界凸回帰の最尤推定（MLE）のミニマックス最適性を確立し、$d \leq 3$ の既知の結果を拡張すること。
• 全変動距離における推定のための鋭いミニマックスレートを導出し、対数因子を除いて$\Theta_d(n^{-2/(d+4)})$ のレートを示すこと。
• 対数凸密度（たとえば、凸集合上の一様分布ですらも）を推定するには、次元に指数関数的に多くの標本が必要であり、既存の下界における次元定数を改善できることを証明すること。

提案手法

• 最初の$n/3$標本から得られる標本共分散行列を用いて、アフィン変換によりデータを標準化し、任意の対数凸分布をほぼ等方的（isotropic）な分布に変換する。
• 標準化された標本にMLE推定量を適用し、等方的対数凸密度に対する既知の最適性結果を活用する。
• 三段階の標本抽出戦略を採用する：$n/3$標本を共分散推定に、$n/3$を平均推定に、残りの$n/3$を変換済みデータ上の密度推定に使用する。
• 対数凸測度上での期待値の尾部公式と集中不等式を用いて、経験過程の乖離を制限する。
• 括弧付けエントロピーおよびエントロピー数の技術を用い、関数族の複雑さと推定リスクとの関係を結びつける。
• 非ドンスカー領域におけるMLEの最適性を確立するため、エントロピー積分に基づく固定点論法を用い、従来のドンスカー条件を越える結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 次元$d \geq 4$における対数凸密度推定の最尤推定（MLE）は最適か？
• RQ2 対数凸または-compactly supportedな密度を持つ有界多変量凸回帰の推定におけるミニマックスレートは何か？
• RQ3 MLEは全変動距離において最適なレートを達成するか？ その次元および標本サイズ依存性は明確か？
• RQ4 対数凸密度の推定に必要な標本複雑度は、次元に関して指数関数的関数で下から抑えられるか？ また、下界における定数を改善できるか？
• RQ5 対数凸密度クラスおよび有界凸回帰クラスのエントロピー数は、対数因子を除いて等価か？

主な発見

• 次元$d$の対数凸密度推定におけるMLEは、すべての$d \geq 4$に対して、二乗ヘルンギャー距離においてミニマックスリスク$\Theta_d(n^{-2/(d+1)})$を達成する。これは、$d \leq 3$ の場合に既に示された最適性を拡張するものである。
• 対数凸またはコンパクトに台を持つ密度を持つ有界多変量凸回帰において、MLEは$L_2$二乗距離において同じ$\Theta_d(n^{-2/(d+1)})$のレートを達成する。
• 対数凸密度クラスおよび有界凸回帰クラスの$\epsilon$-エントロピー数は、対数因子を除いて等しい。
• 全変動距離における推定のための鋭いミニマックスレート$\Theta_d(n^{-2/(d+4)})$が、対数因子を除いて確立された。
• 本稿では、ある固定精度で対数凸密度を推定するには、少なくとも$\Omega(c^n)$の標本が必要であることを証明した。これは、以前の下界$2^{-d} \cdot n^{-2/(d+1)}$から、$d \geq 2$ に対して$c \cdot n^{-2/(d+1)}$ への改善であり、次元に指数関数的依存があることを示している。
• 解析により、これらのクラスにおいて非ドンスカー領域におけるMLEの最適性が確認された。固定点に基づくエントロピー積分論法により、古典的なドンスカー型仮定を超えて、結果を拡張した。