[論文レビュー] Sharp Analysis of Expectation-Maximization for Weakly Identifiable Models

Raaz Dwivedi, Nhat Ho+4 more|arXiv (Cornell University)|Feb 1, 2019

Bayesian Methods and Mixture Models被引用数 10

ひとこと要約

この論文は、尤度関数に代数的依存性があるため、標準的な統計的レートが劣化する弱識別可能なガウス位置スケール混合モデルにおける期待値最大化（EM）アルゴリズムの鋭い分析を提供する。EMは$ n^{3/4} $ステップで収束し、真の値からのパラメータ推定値のユークリッド距離が、位置パラメータで$ n^{-1/8} $、スケールパラメータで$ n^{-1/4} $の範囲内となることが示され、古典的な$ n^{-1/2} $レートよりも著しく遅い収束が明らかになった。

ABSTRACT

We study a class of weakly identifiable location-scale mixture models for which the maximum likelihood estimates based on $n$ i.i.d. samples are known to have lower accuracy than the classical $n^{- \\frac{1}{2}}$ error. We investigate whether the Expectation-Maximization (EM) algorithm also converges slowly for these models. We provide a rigorous characterization of EM for fitting a weakly identifiable Gaussian mixture in a univariate setting where we prove that the EM algorithm converges in order $n^{\\frac{3}{4}}$ steps and returns estimates that are at a Euclidean distance of order ${ n^{- \\frac{1}{8}}}$ and ${ n^{-\\frac{1} {4}}}$ from the true location and scale parameter respectively. Establishing the slow rates in the univariate setting requires a novel localization argument with two stages, with each stage involving an epoch-based argument applied to a different surrogate EM operator at the population level. We demonstrate several multivariate ($d \\geq 2$) examples that exhibit the same slow rates as the univariate case. We also prove slow statistical rates in higher dimensions in a special case, when the fitted covariance is constrained to be a multiple of the identity.

研究の動機と目的

• Fisher情報が集合上で退化する弱識別可能な混合モデルにおけるEMアルゴリズムの計算的・統計的挙動を理解すること。
• モデルが過剰に指定されており、位置およびスケールパラメータが未知である場合のEMの収束レートを特徴づけること。
• 一変量および多変量の弱識別可能なガウス混合モデルにおけるEMのステップ数および推定誤差の厳密な境界を確立すること。
• 弱識別可能なモデルにおけるMLEのレートに関する先行結果を、EMの計算的性能へと拡張すること。
• 集団レベルにおける補助EM作用素のエポックベース解析を用いた、新規の二段階局在化議論を構築すること。

提案手法

• 著者らは、弱識別可能なモデルにおけるEM収束を分析するため、補助EM作用素を用いた二段階局在化議論を導入した。
• 集団レベルのEM作用素$ \widetilde{M}_{n,d} $を定義し、一回のステップにおける収縮境界を証明した：高確率で$ \|\widetilde{M}_{n,d}(\theta^0)\| \leq \sqrt{2/\pi} $が成り立つ。
• 経験モーメントの集中不等式を活用し、$ \left| \frac{1}{n} \sum X_j^{2k} - \mathbb{E}[X^{2k}] \right| \leq \frac{C_k \log^k(n/\delta)}{\sqrt{n}} $を示した。
• 多変量の場合、適合された共分散が単位行列の倍数であるという制約の下でEMアルゴリズムを分析し、一変量の結果を拡張した。
• 推定の質を、混合成分の最適輸送カップリングを介して定義される第一階 Wasserstein 距離で測定した。
• 証明技法は、エポックベース解析と、ガウスホロウスの対称性および尾部バウンドの新規な応用を組み合わせ、EM更新ステップの挙動を制御した。

実験結果

リサーチクエスチョン

• RQ1 弱識別可能なガウス混合モデルにおいて、EMアルゴリズムの収束速度はどのように振る舞うか？
• RQ2 特に真のパラメータからのユークリッド距離の観点から、このようなモデルにおけるEM推定値の統計的精度は何か？
• RQ3 尤度対数の偏微分の間の代数的依存性が存在する状況において、EMの遅い収束を厳密に特徴づけ、境界を付けることができるか？
• RQ4 弱識別可能な設定において、EMアルゴリズムはMLEと同等の推定誤差を達成するか？
• RQ5 一変量の解析を$ d \geq 2 $の多変量モデルに拡張できるか？その場合の収束および誤差レートは何か？

主な発見

• 一変量の弱識別可能なガウス混合モデルにおいて、EMは$ \mathcal{O}(n^{3/4}) $ステップで収束する。
• EMアルゴリズムは真の位置パラメータからのユークリッド距離が$ \mathcal{O}(n^{-1/8}) $以内の推定値を返す。
• スケールパラメータの推定誤差は$ \mathcal{O}(n^{-1/4}) $であり、古典的な$ n^{-1/2} $レートよりも著しく遅い。
• 同様の遅いレートは多変量設定（$ d \geq 2 $）でも観察され、特に共分散が単位行列の倍数である制約下で顕著である。
• 補助EM作用素のエポックベース解析を用いた新規の二段階局在化議論は、収束および誤差境界の証明に不可欠である。
• 適合モデルと真のモデル間のWasserstein距離は、$ \|\theta - \theta_*\|_2 + \sqrt{d} \sqrt{|\sigma^2 - \sigma_*^2|} $によって上界が与えられ、推定誤差とモデル品質を結びつける。