[論文レビュー] Weak separation in mixture models and implications for principal stratification

Avi Feller, Evan Greif+3 more|arXiv (Cornell University)|Feb 21, 2016

Bayesian Methods and Mixture Models被引用数 9

ひとこと要約

本稿は、弱く分離された2成分のガウス有限混合モデルにおける最尤推定量（MLE）の病理的挙動を調査し、成分の平均が近いが等しくない場合に、収束速度が $O(n^{-1/6})$ または $O(n^{-1/8})$ にまで遅くなることを示している。著者らは、有限標本においてMLEが実際に異なる平均を示すにもかかわらず等しい平均であると誤って示すことがあることを示し、主な構造的妥当性モデルにおける信頼性の低い推定を引き起こす可能性がある。また、ジョブトレーニングプログラム（JOBS IIおよびJob Corps）の診断と再分析を通じて、これらの問題を実証している。

ABSTRACT

Principal stratification is a widely used framework for addressing post-randomization complications. After using principal stratification to define causal effects of interest, researchers are increasingly turning to finite mixture models to estimate these quantities. Unfortunately, standard estimators of mixture parameters, like the MLE, are known to exhibit pathological behavior. We study this behavior in a simple but fundamental example, a two-component Gaussian mixture model in which only the component means and variances are unknown, and focus on the setting in which the components are weakly separated. In this case, we show that the asymptotic convergence rate of the MLE is quite poor, such as $O(n^{-1/6})$ or even $O(n^{-1/8})$. We then demonstrate via theoretical arguments as well as extensive simulations that, in finite samples, the MLE behaves like a threshold estimator, in the sense that the MLE can give strong evidence that the means are equal when the truth is otherwise. We also explore the behavior of the MLE when the MLE is non-zero, showing that it is difficult to estimate both the sign and magnitude of the means in this case. We provide diagnostics for all of these pathologies and apply these ideas to re-analyzing two randomized evaluations of job training programs, JOBS II and Job Corps. Our results suggest that the corresponding maximum likelihood estimates should be interpreted with caution in these cases.

研究の動機と目的

• 弱く分離された有限混合モデルにおけるMLEの漸近的および有限標本的挙動を理解すること、特に成分の平均が近いが等しくない場合に注目する。
• このような病理的挙動が、教育的および社会科学的応用分野における主な構造的妥当性フレームワークにおける因果効果推定にどのように影響するかを調査すること。
• 実務においてMLEの病理的挙動を検出するための診断手法を開発すること、特に成分の平均が等しいと誤った証拠を示す場合に注目する。
• 弱く分離された状況下でのMLEに基づく推定の信頼性を評価するために、実世界の無作為化試験（JOBS IIおよびJob Corps）を再分析すること。

提案手法

• 混合割合が既知である2成分のガウス位置スケール混合モデルを分析し、成分の平均および分散のMLE推定に注目する。
• 弱い分離下での漸近的収束速度を導出し、真の平均差が小さい場合に $O(n^{-1/6})$ または $O(n^{-1/8})$ のような非常に遅い収束速度が得られることを示す。
• 理論的考察とシミュレーションを用いて、MLEがしきい値推定量のようになることを示し、実際に異なるにもかかわらず、等しい平均である強力な証拠を示すことがある。
• レ・カム風のミニマックス下界の議論を用いて、対称的モデル下でのMLEの多項式でない収束速度を確立する。
• 有限標本におけるMLEの挙動に基づく診断手法を開発し、特に成分の平均の符号と大きさの推定に注目する。
• 提案された診断手法を用いて、2つのジョブトレーニングプログラムの評価（JOBS IIおよびJob Corps）を再分析し、MLEに基づく因果効果推定の信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 成分の平均が弱く分離されている2成分のガウス混合モデルにおいて、MLEの漸近的収束速度はどの程度か？
• RQ2 真の平均差が小さくても非ゼロである場合、MLEは有限標本でどのように振る舞うか？
• RQ3 実際に異なる成分の平均に対して、MLEが等しい平均であるという強力な証拠を示す可能性はどの程度か？
• RQ4 これらの病理的挙動は、有限混合モデルに基づく主な構造的妥当性モデルにおける因果効果推定の信頼性にどのように影響するか？
• RQ5 実応用現場でこのようなMLEの病理的挙動を検出するための診断手法は何か？

主な発見

• 弱く分離された2成分のガウス混合モデルにおける平均差のMLEは、標準的な $O(n^{-1/2})$ よりもはるかに遅い $O(n^{-1/6})$ または $O(n^{-1/8})$ の速度で収束する。
• 有限標本では、成分の平均が0.5標準偏差だけ異なる場合でも、MLEが等しい平均であると強く統計的証拠を与えることがある。
• MLEはしきい値に類似した挙動を示し、成分が弱く分離されている場合、平均差の符号および大きさの推定が極めて不安定になる。
• 特に、平均差の符号を推定する際、MLEの性能は著しく劣り、主な構造的妥当性の設定における信頼性の低い推定を引き起こす。
• シミュレーションおよびJOBS IIとJob Corpsの再分析から、MLEに基づく因果効果推定はこれらの病理的挙動のため、注意深く解釈されるべきであることが示された。
• 提案された診断手法は、実務においてMLEの結果が誤解を招く可能性があるケースを効果的に検出できる。