[論文レビュー] Strong consistency of MLE for finite mixtures of location-scale distributions when the ratios of the scale parameters are exponentially small

Kentaro Tanaka|arXiv (Cornell University)|Sep 25, 2006

Bayesian Methods and Mixture Models参考文献 11被引用数 3

ひとこと要約

本稿は、スケールパラメータ比の下限が $\exp(-n^d)$ で抑えられる場合、有限混合の位置スケール分布族に対する最尤推定量（MLE）の強い一致性を確立する。ここで $0 < d < 1$ であり、$n$ は標本サイズである。著者らは、スケールパラメータ比が指数関数的に $n^d$ に従って減少するように制限することで、Hathaway（1985）が提起した未解決問題を解決し、標本サイズが増大するにつれてスケール比の下限が0に近づいてもMLEが一貫性を保つことを示している。

ABSTRACT

In finite mixtures of location-scale distributions, if there is no constraint on the parameters then the maximum likelihood estimate does not exist. But when the ratios of the scale parameters are restricted appropriately, the maximum likelihood estimate exists. We prove that the maximum likelihood estimator (MLE) is strongly consistent, if the ratios of the scale parameters are restricted from below by $\exp(-n^{d}), 0 &lt; d &lt; 1 $, where $n$ is the sample size.

研究の動機と目的

• 標本サイズが増大するにつれてスケールパラメータ比の下限が0に近づく場合に、MLEが強い一貫性を保つかどうかというHathaway（1985）が提起した未解決問題を解決すること。
• スケールパラメータが0から離れていない場合でも、有限混合の位置スケール分布族におけるMLEの存在および一貫性を保証する条件を確立すること。
• MLEの強い一貫性を保つために、スケールパラメータ比がどれほど遅く減少してもよいかを特定すること。
• スケールパラメータ制約の下でのMLE一貫性に関する先行研究を、より一般で漸近的にタイトな状況へと拡張すること。

提案手法

• 著者らは、任意の2つのスケールパラメータ間の最小比が $b_n = \exp(-n^d)$ で下から抑えられる制約付きパrameter空間 $\Theta_{b_n}$ を定義する。ここで $0 < d < 1$ である。
• Borel-Cantelliの補題を用いて、尤度が無限大に発散する領域に多数のデータポイントが観測される確率が0に収束することを示す。
• 尤度関数の対数を、真のパrameterの周囲の区間におけるデータポイント数を用いて評価し、濃度不等式を用いて尾部の挙動を制御することで、証明を進める。
• 尤度が発散する可能性のある領域におけるデータポイントの期待数を抑え込むための重要な不等式を導出する。この際、スケール比の制約を活用する。
• スケールパラメータが小さすぎる場合、データポイントが正確に位置パラメータと一致する確率が0に近づくため、その成分からの尤度寄与は無視できるほど小さくなるという事実に依拠する。
• 確率的バインドと漸近的評価の系列を適用し、代替モデル下での正規化された対数尤度がほとんど確実に負の無限大に収束することを示し、一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 スケールパラメータ比の下限が標本サイズとともに0に近づく場合、有限混合の位置スケール分布族に対する最尤推定量（MLE）は強い一貫性を示すか？
• RQ2 スケールパラメータ比がどれほど遅く減少しても、MLEの強い一貫性が保たれるか？
• RQ3 任意の $0 < d < 1$ に対して $\exp(-n^d)$ の速度は、有限混合の位置スケール族におけるMLE一貫性を保証する点で漸近的に最適か？
• RQ4 スケール比の制約が $\exp(-n^r)$（$r > 1$）に緩和された場合、MLEは一貫性を保つのか？これは一貫性が失われる境界に近づく。

主な発見

• 任意の $0 < d < 1$ に対して、スケールパラメータ比が $\exp(-n^d)$ で下から抑えられる限り、MLEは強い一貫性を示す。
• $\exp(-n^d)$ の速度はほぼ最適であり、本稿では $r > 1$ の場合に一貫性が失敗することを示している。
• 証明により、任意の代替モデル下でMLEの正規化された対数尤度がほとんど確実に負の無限大に収束することが示され、一貫性が保証される。
• 本結果により、Hathaway（1985）が提起した未解決問題が解決され、標本サイズが増大するにつれてスケール比制約が任意に弱まってもMLEが一貫性を保つことが確認された。
• 真の密度が $M$ 成分混合クラスに属するが、$M-1$ 成分クラスには属しないというやや弱い正則性条件のもとで、分析は成り立つ。
• 本手法により、スケールパラメータが指数関数的に減少する場合でも、与えられた制約のもとで尤度関数が十分に良好に振る舞い、MLEの一貫性が保証されることを示した。