[論文レビュー] Optimal estimation of Gaussian mixtures via denoised method of moments

Yihong Wu, Pengkun Yang|arXiv (Cornell University)|Jul 19, 2018

Statistical Distribution Estimation and Applications参考文献 76被引用数 13

ひとこと要約

本稿では、共分散が共通のk成分ガウス位置混合分布の最適推定のため、半定値計画法（SDP）を用いてモーメント推定値を切り捨てられたモーメント空間に射影することで、ノイズ除去されたモーメント法を提案する。これにより、解の存在と一意性が保証される。本手法は、Wasserstein距離における新しいモーメント比較定理を用いて、凸性の仮定なしに一般化モーメント法に対する証明可能な保証を提供し、適応的最小最大最適レートとオラクル不等式を達成する。

ABSTRACT

The Method of Moments [Pea94] is one of the most widely used methods in statistics for parameter estimation, by means of solving the system of equations that match the population and estimated moments. However, in practice and especially for the important case of mixture models, one frequently needs to contend with the difficulties of non-existence or non-uniqueness of statistically meaningful solutions, as well as the high computational cost of solving large polynomial systems. Moreover, theoretical analysis of the method of moments are mainly confined to asymptotic normality style of results established under strong assumptions. This paper considers estimating a $k$-component Gaussian location mixture with a common (possibly unknown) variance parameter. To overcome the aforementioned theoretic and algorithmic hurdles, a crucial step is to denoise the moment estimates by projecting to the truncated moment space (via semidefinite programming) before solving the method of moments equations. Not only does this regularization ensures existence and uniqueness of solutions, it also yields fast solvers by means of Gauss quadrature. Furthermore, by proving new moment comparison theorems in the Wasserstein distance via polynomial interpolation and majorization techniques, we establish the statistical guarantees and adaptive optimality of the proposed procedure, as well as oracle inequality in misspecified models. These results can also be viewed as provable algorithms for Generalized Method of Moments [Han82] which involves non-convex optimization and lacks theoretical guarantees.

研究の動機と目的

• ガウス混合モデルにおける古典的モーメント法に理論的保証と数値的不安定性が欠如している問題に対処する。
• 有限混合分布のモーメントに基づく推定における解の非存在性および非一意性を克服する。
• ガウス位置スケール混合分布におけるパrameter推定のための計算的に効率的で統計的に最適な手順を開発する。
• Wasserstein距離に基づく比較を用いて、スムーズネスクラスの異なる混合分布に対して適応的最小最大最適性とオラクル不等式を確立する。
• 非凸最適化の落とし穴を避ける一般化モーメント法の証明可能な効率的アルゴリズムを提供する。

提案手法

• 半定値計画法（SDP）を用いて、切り捨てられたモーメント空間への射影により、標本モーメントをノイズ除去し、妥当性と安定性を確保する。
• ノイズ除去後、正則化されたモーメント法方程式を効率的に解くためにガウス求積法を用いる。
• 多項式補間と主要化技術を用いて、Wasserstein距離におけるモーメント比較定理を確立する。
• ノイズ除去されたモーメント推定値が、最小限の仮定のもとで一貫性と最適性を持つパrameter推定子を導くことを証明する。
• 半定値計画法を用いてモーメント空間を特徴付け、モーメント行列への正定値制約を強制する。
• ノイズ除去されたモーメント系におけるバイアスとバイアスのトレードオフを分析することで、適応的レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 有限標本において、ガウス混合のモーメント法を正則化することで、解の存在と一意性を保証できるか？
• RQ2 未知の平均値と共通の分散をもつk成分ガウス混合分布を推定する際の最適収束レートは何か？
• RQ3 どのようにすれば、モーメントに基づく推定が、混合分布のスムーズネスクラスにわたって適応的最小最大最適性を達成できるか？
• RQ4 Wasserstein距離を用いて、有限混合分布に対して漸近的でないモーメント比較定理を導出できるか？
• RQ5 ノイズ除去されたモーメント法は、分離条件に依存せず、MLEと同等の証明可能な統計的保証を提供するか？

主な発見

• ノイズ除去されたモーメント法は、共分散が共通のk成分ガウス混合分布の推定において、適応的最小最大最適レートを達成し、最尤推定子の最適レートと一致する。
• 提案手法は、半定値計画法によるモーメント推定値の切り捨てられたモーメント空間への射影により、解の存在と一意性を保証する。
• ガウス求積法を用いることで高速なソルバーが得られ、高次のモーメントに対しても計算が効率的に行える。
• 多項式補間と主要化を用いて、Wasserstein距離における新しいモーメント比較定理が確立され、非漸近的解析が可能になる。
• 誤ったモデルに対してオラクル不等式が導出され、推定子が真のモデルの複雑さに適応することが示された。
• 本手法は、非凸設定における一般化モーメント法に対して、初めて証明可能な効率性と統計的最適性を併せ持つアルゴリズムを提供する。