[論文レビュー] Statistical Guarantees for Estimating the Centers of a Two-component Gaussian Mixture by EM

Jason M. Klusowski, W. D. Brinda|arXiv (Cornell University)|Aug 7, 2016

Bayesian Methods and Mixture Models参考文献 10被引用数 12

ひとこと要約

この論文は、高次元における2成分ガウス混合モデルの中心を推定するEMアルゴリズムに対して統計的保証を確立する。スティーンの補題を活用し、真のパラメータのまわりの小さな球体よりも大きな領域、具体的には原点のまわりの球体と半空間の共通部分としての吸引域を拡張することで、信号対雑音比が $\sqrt{d\log d}$ の定数倍以上である限り、スケーリングされた多変量正規分布からの確率的初期化が高確率で成功することを示した。これは、高次元ガウス混合モデルにおけるEMの実用的適用範囲を顕著に拡大する。

ABSTRACT

Recently, a general method for analyzing the statistical accuracy of the EM algorithm has been developed and applied to some simple latent variable models [Balakrishnan et al. 2016]. In that method, the basin of attraction for valid initialization is required to be a ball around the truth. Using Stein's Lemma, we extend these results in the case of estimating the centers of a two-component Gaussian mixture in $d$ dimensions. In particular, we significantly expand the basin of attraction to be the intersection of a half space and a ball around the origin. If the signal-to-noise ratio is at least a constant multiple of $ \sqrt{d\log d} $, we show that a random initialization strategy is feasible.

研究の動機と目的

• 高次元ガウス混合モデルにおけるEM収束の吸引域を、真のパrameterのまわりの小さな球体よりも拡大すること。
• 確率的初期化が高確率で収束する条件を確立すること。
• 初期化が真のパラメータの小さなユークリッド球内にある必要があるという先行研究の制限を改善すること。
• より大きな、より実用的な領域に初期化された場合の、標本EM反復の高確率誤差境界を導出すること。
• 信号対雑音比が次元に適切にスケーリングされる限り、最小限の事前知識で高次元設定においてEMアルゴリズムを信頼できて、その条件を明らかにすること。

提案手法

• 著者らは、対称な平均を持つ2成分球状ガウス混合モデルの母集団EM作用素を導出する。
• 著者らは、球体と半空間の共通部分としての、新たな領域を吸引域として定義し、これはユークリッド球よりも顕著に大きな領域である。
• スティーンの補題を用いて、この領域上でEM作用素の収縮性を確立し、差 $\|M(\theta) - M(\theta^*)\|$ のバウンドにより制御する。
• 標本EM作用素がこの領域上で母集団作用素の周囲に集中することを証明し、高確率誤差境界の導出を可能にする。
• 信号対雑音比が $\text{SNR} \gtrsim \sqrt{d\log d}$ を満たす場合、多変量正規分布からのスケーリングされた確率的初期化が高確率で吸引域内に位置することを示した。
• モーメント生成関数のバウンドと集中不等式を用いて、標本統計量が期待値から逸脱する度合いを制御する分析に依拠している。

実験結果

リサーチクエスチョン

• RQ1 ガウス混合モデルにおけるEMの吸引域を、真のパラメータのまわりの小さな近傍から拡大できるか？
• RQ2 高次元において、確率的初期化が高確率で収束するための信号対雑音比の条件は何か？
• RQ3 スティーンの補題をどのように用いることで、非対称領域におけるEM作用素の収縮性を確立できるか？
• RQ4 初期化が小さなユークリッド球の外側に位置する場合でも、EMの高確率誤差境界を導出することは可能か？
• RQ5 高次元2成分ガウス混合モデルにおいて、確率的初期化が成功するための最小限の信号対雑音比は何か？

主な発見

• EMアルゴリズムの吸引域が、原点のまわりの球体と半空間の共通部分に拡大され、初期化可能な領域が顕著に拡大された。
• 信号対雑音比が $\sqrt{d\log d}$ の定数倍以上である場合、スケーリングされた多変量正規分布からの確率的初期化が高確率で成功する。
• 提案された領域上でEM作用素は収縮的であり、適切な条件下で真のパラメータへの収束が保証される。
• 標本EM反復の高確率誤差境界が導出され、誤差は条件を満たす限り $\tilde{O}(\sqrt{d/n})$ に減少する。
• 収縮性は、スティーンの補題を用いて $\|M(\theta) - M(\theta^*)\|$ のバウンドにより確立され、高次元における作用素の振る舞いを制御する。
• 分析により、信号対雑音比が次元に適切にスケーリングされる限り、最小限の事前知識で高次元設定においてEMアルゴリズムを信頼して使用可能であることが示された。