[論文レビュー] Identifiability and optimal rates of convergence for parameters of multiple types in finite mixtures

Nhat Ho, XuanLong Nguyen|arXiv (Cornell University)|Jan 11, 2015

Bayesian Methods and Mixture Models参考文献 22被引用数 5

ひとこと要約

本稿は、有限混合モデルにおけるパラメータの最適収束速度を確立し、強く識別可能なモデル（$W_1$と$W_2$距離の下でそれぞれ$n^{-1/2}$および$n^{-1/4}$の収束速度）と、位置・スケール正規分布およびスケュー正規混合モデルのような弱く識別可能なモデル（追加の成分が増えるにつれて、多項式系の代数的構造によって支配され、著しく遅くなる）の違いを明らかにしている。本研究は、多様な混合族にわたる識別可能性および収束解析の一般枠組みを提供する。

ABSTRACT

This paper studies identifiability and convergence behaviors for parameters of multiple types in finite mixtures, and the effects of model fitting with extra mixing components. First, we present a general theory for strong identifiability, which extends from the previous work of Nguyen [2013] and Chen [1995] to address a broad range of mixture models and to handle matrix-variate parameters. These models are shown to share the same Wasserstein distance based optimal rates of convergence for the space of mixing distributions --- $n^{-1/2}$ under $W_1$ for the exact-fitted and $n^{-1/4}$ under $W_2$ for the over-fitted setting, where $n$ is the sample size. This theory, however, is not applicable to several important model classes, including location-scale multivariate Gaussian mixtures, shape-scale Gamma mixtures and location-scale-shape skew-normal mixtures. The second part of this work is devoted to demonstrating that for these "weakly identifiable" classes, algebraic structures of the density family play a fundamental role in determining convergence rates of the model parameters, which display a very rich spectrum of behaviors. For instance, the optimal rate of parameter estimation in an over-fitted location-covariance Gaussian mixture is precisely determined by the order of a solvable system of polynomial equations --- these rates deteriorate rapidly as more extra components are added to the model. The established rates for a variety of settings are illustrated by a simulation study.

研究の動機と目的

• 行列変量パラメータを有する有限混合モデルに対する強い識別可能性の一般理論を構築すること。
• 正確適合と過適合の状況下での混合分布パラメータの最適収束速度を特徴付けること。
• 弱く識別可能なモデル（例：位置・スケール正規分布およびスケュー正規混合モデル）において、追加の混合成分が推定速度に与える影響を調査すること。
• これらの弱く識別可能なクラスにおける収束速度が、可解な多項式系の次数に依存することを示すこと。

提案手法

• Nguyen（2013）およびChen（1995）の先行識別可能性理論を、行列変量パラメータおよびより広範な混合族に拡張する。
• ワッサーシュタイン距離に基づく解析を用いて最適収束速度を導出：正確適合では$W_1$下で$n^{-1/2}$、過適合では$W_2$下で$n^{-1/4}$。
• 代数幾何学的手法を用いて弱く識別可能なモデルを分析し、密度族から生じる多項式系の可解性および次数に注目する。
• シミュレーションスタディを用いて、多様な混合設定における理論的収束速度の妥当性を検証する。
• 特に追加の成分を含む過適合モデルにおける、基礎となる代数的構造に基づいたパrameter推定速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 強い識別可能性下での有限混合モデルにおけるパラメータの最適収束速度は何か？ また、使用するワッサーシュタイン距離に依存するか？
• RQ2 弱く識別可能なモデルにおいて、追加の混合成分を含む過適合状況では収束速度はどのように変化するか？
• RQ3 代数的構造（特に可解な多項式系の次数）は、弱く識別可能な混合族における推定速度にどのような役割を果たすか？
• RQ4 同一の理論枠組みを有限混合モデルにおける行列変量パラメータに適用可能か？
• RQ5 位置・スケール正規分布、ガンマ分布、スケュー正規混合モデルは、それらの基礎となる代数的性質の違いにより、収束挙動がどのように異なるか？

主な発見

• 強く識別可能なモデルでは、モデルが正確に適合されている場合、混合分布の最適収束速度は$W_1$距離下で$n^{-1/2}$である。
• 過適合状況では、最適収束速度は$W_2$距離下で$n^{-1/4}$に悪化する。
• 位置・スケール正規混合モデルのような弱く識別可能なモデルでは、収束速度は可解な多項式方程式系の次数によって支配され、追加の成分が増えるにつれて著しく遅くなる。
• 過適合された位置・共分散正規混合モデルにおけるパラメータ推定速度は、基礎となる多項式系の代数的複雑性によって正確に決定される。
• シミュレーションスタディにより、複数の混合設定において理論的収束速度が妥当であることが確認され、代数的構造が推定速度を決定づける役割を果たすことが裏付けられた。
• 本稿は、多変量正規混合モデルやスケュー正規混合モデルといった主要なモデルクラスに対して、標準的な識別可能性理論が適用できないこと、したがって新たな代数的アプローチが不可欠であることを示した。