[論文レビュー] Singularity structures and impacts on parameter estimation in finite mixtures of distributions

Nhat Ho, XuanLong Nguyen|arXiv (Cornell University)|Sep 9, 2016

Bayesian Methods and Mixture Models参考文献 39被引用数 10

ひとこと要約

本稿は、有限混合分布における特異構造を同定する一般枠組みを構築し、それらをパラメータ推定の収束速度およびミニマックス下界と関連付ける。特異性がスケュー正規混合分布において複雑な漸近的挙動を引き起こすことが示され、収束速度は多項式方程式系の可解性に支配され、最尤推定器が根-$n$速度に達するのは非特異条件のもとでのみであることを証明する。

ABSTRACT

Singularities of a statistical model are the elements of the model's parameter space which make the corresponding Fisher information matrix degenerate. These are the points for which estimation techniques such as the maximum likelihood estimator and standard Bayesian procedures do not admit the root-$n$ parametric rate of convergence. We propose a general framework for the identification of singularity structures of the parameter space of finite mixtures, and study the impacts of the singularity structures on minimax lower bounds and rates of convergence for the maximum likelihood estimator over a compact parameter space. Our study makes explicit the deep links between model singularities, parameter estimation convergence rates and minimax lower bounds, and the algebraic geometry of the parameter space for mixtures of continuous distributions. The theory is applied to establish concrete convergence rates of parameter estimation for finite mixture of skew-normal distributions. This rich and increasingly popular mixture model is shown to exhibit a remarkably complex range of asymptotic behaviors which have not been hitherto reported in the literature.

研究の動機と目的

• 連続分布の有限混合モデルにおける特異構造を同定・特徴付ける。
• これらの特異性が最尤推定器（MLE）の収束速度およびミニマックス下界に与える影響を調査する。
• 特異モデルにおける統計的推定挙動とパrameter空間の代数的幾何学的性質との間の関係を確立する。
• 特異正規分布混合モデルにおけるパラメータ推定の漸近的挙動を分析する。このモデルは複雑な特異構造を有する。
• 過剰適合混合モデルに関する既存理論を拡張し、特定のケースに限らない一般枠組みを提供する。

提案手法

• フィッシャー情報行列の退化として有限混合モデルにおける特異性を形式化し、パrameter空間内の特異点を定義する。
• 特に半代数的集合および多項式方程式系を用いた代数幾何学的手法を適用し、特異構造を特徴付ける。
• モーメントおよび重み制約に基づき、混合モデルが$k$-特異であるための条件をグリーディ抽出法を用いて導出する。
• ミニマックス下界を用いた収束速度の分析を行い、モーメント条件から導かれる多項式方程式系の可解性と関連付ける。
• 推定誤差を測るためのワーサインシュタイン距離を用い、コンactパrameter空間の仮定の下で収束速度を確立する。
• スケュー正規混合分布への応用において、方程式系$\sum p_i^0 c_i = 0$, $\sum p_i^0 m_i^0 c_i^2 = 0$を分析し、非自明な解が存在する場合に特異性が生じることを示す。

実験結果

リサーチクエスチョン

• RQ1 有限混合モデルにおける特異構造が、パラメータ推定器の収束速度にどのように影響するか？
• RQ2 過剰適合混合モデルにおける多項式方程式系の可解性とミニマックス下界との関係は何か？
• RQ3 パrameter空間の代数的幾何学的性質が、特異モデルにおける統計的推定挙動にどのように影響するか？
• RQ4 有限混合スケュー正規分布におけるMLEの正確な収束速度は何か？ そして特異構造にどのように依存するか？
• RQ5 多様な有限混合モデルにわたる推定挙動を分類・予測可能な一般枠組みを構築できるか？

主な発見

• 本稿は、有限混合スケュー正規分布に対する最尤推定器が、真のパラメータが非特異領域にある場合にのみ根-$n$収束速度に達できることを証明している。
• 特異混合モデルでは収束速度が劣化し、モーメント条件から導かれる多項式方程式系の可解性に支配される。
• 研究により、過剰適合混合モデルにおけるパラメータ推定のミニマックス下界が、特にモーメント方程式の非自明解の存在に依存するパrameter空間の代数的構造に依存することが示された。
• 多項式方程式系に非自明な解が存在する場合、つまり$\sum p_i^0 \prod_{j \neq i} m_j^0 < 0$のとき、混合モデルは2-特異かつ$(2,2,2)$-特異となる可能性があり、これはモデルクラス$\mathcal{E}_{k_0}$に関して成立する。
• この枠組みにより、識別可能モデルである位置スケール正規混合モデルやガンマ混合モデルですら、特異性のため根-$n$収束でないことが示された。
• 本稿は、与えられたモデルの推定速度が特異性タイプによって決定され、$\ell(G_0|\mathcal{E}_{k_0}) = 1$または$2$である場合、それぞれ異なる漸近的挙動を示すことが、定理11.3および事例解析により確認された。