[論文レビュー] Optimal estimation of high-dimensional Gaussian mixtures

Natalie Doss, Yihong Wu+2 more|arXiv (Cornell University)|Feb 14, 2020

Markov Chains and Monte Carlo Methods参考文献 54被引用数 10

ひとこと要約

本稿は、分離仮定なしに高次元有限ガウス型位置混合分布の最適ミニマックス推定レートを確立する。モーメントテンソルとその低ランク構造を活用することで、ウォッサーシュタイン距離における最適レート $ Theta((d/n)^{1/4} + n^{-1/(4k-2)})$ を導出し、ヘリンジャー距離における密度推定がパラメトリックな $ Theta( sqrt{d/n})$ レートで達成可能であることを示すが、そのような効率的アルゴリズムはまだ知られていない。

ABSTRACT

This paper studies the optimal rate of estimation in a finite Gaussian location mixture model in high dimensions without separation conditions. We assume that the number of components $k$ is bounded and that the centers lie in a ball of bounded radius, while allowing the dimension $d$ to be as large as the sample size $n$. Extending the one-dimensional result of Heinrich and Kahn \cite{HK2015}, we show that the minimax rate of estimating the mixing distribution in Wasserstein distance is $\Theta((d/n)^{1/4} + n^{-1/(4k-2)})$, achieved by an estimator computable in time $O(nd^2+n^{5/4})$. Furthermore, we show that the mixture density can be estimated at the optimal parametric rate $\Theta(\sqrt{d/n})$ in Hellinger distance; however, no computationally efficient algorithm is known to achieve the optimal rate. Both the theoretical and methodological development rely on a careful application of the method of moments. Central to our results is the observation that the information geometry of finite Gaussian mixtures is characterized by the moment tensors of the mixing distribution, whose low-rank structure can be exploited to obtain a sharp local entropy bound.

研究の動機と目的

• 成分数 $k$ が有界で、中心が有界な球内にある高次元有限ガウス型位置混合分布の推定における最適ミニマックスレートを特定すること。
• 高次元漸近的設定（$d \sim n$）において、ウォッサーシュタイン距離で最適レートを達成する計算的に効率的な推定量の開発。
• 混合分布のモーメントテンソルを通じて、有限ガウス混合分布の情報幾何を同定すること。
• 混合密度がヘリンジャー距離でパラメトリックレート $\Theta(\sqrt{d/n})$ で推定可能であることを確立すること（ただし、そのレートに到達可能な効率的アルゴリズムは未発見）。

提案手法

• モーメント法を応用し、高次元におけるモーメントテンソルの低ランク構造を活用して、混合分布とそのモーメントテンソルとの関係を確立する。
• モーメントテンソルの低ランク構造に基づく鋭い局所エントロピーの上限を導出し、統計的複雑性を制御する。
• ウォッサーシュタイン距離で最適ミニマックスレートを達成する、実行時間 $O(nd^2 + n^{5/4})$ の計算可能な推定量の構築。
• モーメントマッチングによる混合分布の推定に用いられ、エントロピーおよびメトリックエントロピーの議論を通じて理論的保証が得られる。
• モーメントテンソルの代数的・幾何的性質を通じて、有限ガウス混合分布の情報幾何の分析。

実験結果

リサーチクエスチョン

• RQ1 分離仮定なしに高次元有限ガウス型位置混合分布の推定における最適ミニマックスレートは何か？
• RQ2 高次元漸近的設定において、計算的に効率的な推定量がウォッサーシュタイン距離で最適レートを達成可能か？
• RQ3 このようなモデルにおける密度推定の最適レートはヘリンジャー距離でどの程度か？
• RQ4 モーメントテンソルの低ランク構造は、統計的複雑性および推定レートにどのように影響するか？
• RQ5 有限ガウス混合分布の情報幾何は、そのモーメントテンソルによって完全に特徴付け可能か？

主な発見

• ウォッサーシュタイン距離における混合分布推定のミニマックスレートは $\Theta((d/n)^{1/4} + n^{-1/(4k-2)})$ であり、与えられたモデル仮定のもとで最適である。
• 実行時間 $O(nd^2 + n^{5/4})$ で計算可能な推定量が、この最適レートを達成できることを示し、高次元設定において実用的である。
• 混合密度はヘリンジャー距離でパラメトリックレート $\Theta(\sqrt{d/n})$ で推定可能であり、密度推定が混合測度推定よりも統計的に容易であることを示唆する。
• モーメントテンソルの低ランク構造により、鋭い局所エントロピーの上限が得られ、これが最適レートの導出に中心的な役割を果たす。
• 有限ガウス混合分布の情報幾何は、混合分布のモーメントテンソルによって完全に特徴付け可能であり、理論的解析を可能にする。