[論文レビュー] Estimating the Coefficients of a Mixture of Two Linear Regressions by Expectation Maximization

Jason M. Klusowski, Dana Yang+1 more|arXiv (Cornell University)|Apr 26, 2017

Bayesian Methods and Mixture Models参考文献 27被引用数 3

ひとこと要約

この論文は、対称的な2成分線形回帰混合モデルにおける期待最大化（EM）アルゴリズムの収束保証を確立する。初期値が真のパラメータとの間で十分に大きなコサイン角を持つ無限大の円錐内にある場合、EM反復は真のパrameterベクトルにパrametricレートで収束することを証明する。一方、この角度が小さすぎる場合には、母集団EM作用素が反収縮的（anti-contractive）であることが示され、円錐型初期値条件の必要性が裏付けられる。

ABSTRACT

We give convergence guarantees for estimating the coefficients of a symmetric mixture of two linear regressions by expectation maximization (EM). In particular, we show that the empirical EM iterates converge to the target parameter vector at the parametric rate, provided the algorithm is initialized in an unbounded cone. In particular, if the initial guess has a sufficiently large cosine angle with the target parameter vector, a sample-splitting version of the EM algorithm converges to the true coefficient vector with high probability. Interestingly, our analysis borrows from tools used in the problem of estimating the centers of a symmetric mixture of two Gaussians by EM. We also show that the population EM operator for mixtures of two regressions is anti-contractive from the target parameter vector if the cosine angle between the input vector and the target parameter vector is too small, thereby establishing the necessity of our conic condition. Finally, we give empirical evidence supporting this theoretical observation, which suggests that the sample based EM algorithm performs poorly when initial guesses are drawn accordingly. Our simulation study also suggests that the EM algorithm performs well even under model misspecification (i.e., when the covariate and error distributions violate the model assumptions).

研究の動機と目的

• 対称的2成分線形回帰混合モデルのパラメータ推定におけるEMアルゴリズムの理論的収束保証を提供すること。
• EMが真の係数ベクトルに高確率で収束する条件を同定すること。
• 母集団EM作用素の反収縮的性質を分析することで、円錐型初期値条件の必要性を確立すること。
• ガウス混合推定の類似問題と関連づけ、その分野の道具を活用すること。
• モデル不適合下でも理論的知見を実証的に検証すること。

提案手法

• 著者らは、独立同一標準正規共変数とラデマッハ混合重みをもつ対称的2成分線形回帰混合モデルの母集団EM作用素を分析する。
• 真のパrameterベクトルの周囲の無限大の円錐内で、母集団EM作用素が収縮的（contractive）であることを証明し、この領域からの初期値でも収束が保証されることを示す。
• 特に標準正規累積分布関数（CDF）および確率密度関数（PDF）を含む尾確率と期待値の評価を含む、ガウス位置混合モデルに対するEM理論の道具を用いる。
• モーメント母関数とジェンセンの不等式を用いて、収縮モジュラスおよび統計的誤差項をバウンドする重要な不等式を導出する。
• アルゴリズム的収束と統計的収束を分離するために、EMのサンプルスプリット版を分析し、高確率収束保証を可能にする。
• 初期値と真のパラメータとの間のコサイン角が小さすぎる場合、EM作用素が反収縮的（anti-contractive）であることを確立し、円錐型初期値条件の正当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 EMアルゴリズムが対称的2成分線形回帰混合モデルにおいて、いつ真のパラメータベクトルに収束するか？
• RQ2 EMの経験的反復の収束速度は何か？ また、パラメトリックレートに達するか？
• RQ3 なぜ真のパラメータの周囲の特定の円錐領域内での初期値設定が収束に不可欠なのか？
• RQ4 初期値が真のパラメータと整合性が悪い場合、母集団EM作用素はどのように振る舞うか？
• RQ5 非ガウス的共変数や誤差を持つようなモデル不適合下でも、EMアルゴリズムはロバストであるか？

主な発見

• 初期値が真のパラメータとの間で十分に大きなコサイン角を持つ無限大の円錐内にある場合、経験的EM反復は真のパラメータベクトルに $ O(1/ ext{sample size}) $ のパラメトリックレートで収束する。
• 初期値と真のパラメータとの間のコサイン角が小さすぎる場合、母集団EM作用素は真のパラメータベクトルから反収縮的（anti-contractive）であることが示され、円錐型初期値条件の必要性が裏付けられる。
• サンプルスプリット版EMは、同じ円錐型初期値条件下で、真のパラメータベクトルに高確率で収束することが保証される。
• モーメント母関数と標準正規分布の尾確率に基づくバウンドを用いて、収縮モジュラスおよび統計的誤差項の理論的バウンドが導出された。
• 実証的結果は、コサイン角が小さい領域から初期値を抽出した場合、EMが著しく性能を発揮しないことを示しており、反収縮的解析の妥当性を支持する。
• シミュレーションスタディにより、共変数や誤差分布がモデル仮定から逸脱してもEMアルゴリズムがロバストであることが示された。