[論文レビュー] Minimax rates for finite mixture estimation

Philippe Heinrich, Jonas Kahn|arXiv (Cornell University)|Apr 14, 2015

Statistical Methods and Inference参考文献 7被引用数 9

ひとこと要約

この論文は、$ m_0 $ 個の成分を持つ混合分布の近傍で有限混合モデルを推定する際のミニマックス収束速度を確立し、正則性および強い同定可能性の条件下で最適な収束速度が $ n^{-1/(4(m-m_0)+2)} $ であることを示している。この結果は、Chen (1995) の以前の主張を是正するものであり、ワッサーシュタイン距離における局所漸近正規性およびモーメントマッチング構成を用いて導出されている。

ABSTRACT

We prove that under some regularity and strong identifiability conditions, around a mixing distribution with $m_0$ components, the optimal local minimax rate of estimation of a mixture with $m$ components is $n^{-1/(4(m-m_0) + 2)}$. This corrects a previous paper by Chen (1995) in The Annals of Statistics.

研究の動機と目的

• 真の混合分布が $ m_0 $ 個の成分を持つ場合の有限混合モデルの推定における最適な局所ミニマックスレートを特定すること。
• Chen (1995) における混合推定の収束速度に関する以前の結果を是正すること。
• 強力な同定可能性および正則性条件のもとで、レート $ n^{-1/(4(m-m_0)+2)} $ が改善不能であることを確立すること。
• このレートが、$ m $ 個の成分を持つ混合モデルが真の $ m_0 $-成分分布の近傍で区別しづらいことの難易度に起因することを示すこと。
• 導出されたレートが最適であるための十分条件を、特に強い同定可能性として特定すること。

提案手法

• 同一の最初の $ 2(m - m_0) $ 個のモーメントを持ち、$ u n^{-1/2} $ スケールの $ (2(m - m_0) + 1) $ 階モーメントを持つ混合分布族 $ G_n(u) $ を構築し、ワッサーシュタイン距離を $ n^{-1/(4(m - m_0) + 2)} $ のオーダーにすること。
• 局所漸近正規性（LAN）を用いて統計的実験をガウスシフトに結びつけ、漸近的等価性およびレートの導出を可能にする。
• 推定損失としてワッサーシュタイン距離 $ W(G_1, G_2) = \int |G_1(-\infty,t] - G_2(-\infty,t]| \, dt $ を用いることで、混合分布間の距離を定量化する。
• ワッサーシュタイン距離のカンタロビッチ＝ルビンシュタイン双対表現を用いて、分布的収束を分析する。
• LANフレームワークにおけるモーメントの可積分性および正則性を保証するため、密度族の $ (p,q) $-滑らかさを確立する。
• 木構造のモーメント展開と係数に対する再帰的バウンドを用いて、モーメントマッチング構成における誤差伝播を制御する。

実験結果

リサーチクエスチョン

• RQ1 真の混合分布が $ m_0 < m $ 個の成分を持つ有限混合モデルを推定する際の最適な局所ミニマックス収束速度は何か？
• RQ2 なぜ正則性および強い同定可能性の条件下でレート $ n^{-1/(4(m - m_0) + 2)} $ は改善不能なのか？
• RQ3 ワッサーシュタイン距離におけるモーメントマッチング構成が推定速度の下界をどのように導くのか？
• RQ4 LANフレームワークはどのように混合モデルにおけるミニマックスレートの導出を可能にするのか？
• RQ5 具体的には強い同定可能性という条件が、導出されたレートがタイトで最適であることを保証するのはどのような意味か？

主な発見

• 真の $ m_0 $-成分混合分布の近傍で $ m $ 個の成分を持つ有限混合モデルを推定する際の最適な局所ミニマックスレートは $ n^{-1/(4(m - m_0) + 2)} $ である。
• このレートは、強い同定可能性および正則性条件のもとで改善不能であることが示され、Chen (1995) の以前の主張が是正されている。
• 下界は、$ G_n(u_1) $ と $ G_n(u_2) $ が最初の $ 2(m - m_0) $ 個のモーメントを同一に持ち、$ (2(m - m_0) + 1) $ 階モーメントでのみ $ u n^{-1/2} $ の差を示すモーメントマッチング構成により導出されており、これによりワッサーシュタイン距離が $ n^{-1/(4(m - m - m_0) + 2)} $ のオーダーとなる。
• LANフレームワークを用いて、いかなる推定量もこのレートより速く収束することはできないことが示され、基礎となる実験が漸近的にガウスシフトと等価であることが裏付けられている。
• 強い同定可能性のもとでこのレートは最適であり、これは $ m $ 個の成分モデルが真の $ m_0 $-成分分布の近傍で局所的に同定可能であることを保証する。
• 本論文は、滑らかな密度を持つ指数型分布族など、強い同定性を満たす明示的な族を提供しており、これらはすべての $ p, q $ に対して $ (p,q) $-滑らかである。