[論文レビュー] Finite mixture models do not reliably learn the number of components

Diana Cai, Trevor Campbell+1 more|arXiv (Cornell University)|Jul 8, 2020

Bayesian Methods and Mixture Models参考文献 73被引用数 11

ひとこと要約

この論文は、成分の尤度がわずかに誤りである場合、標準的な事前分布を用いた有限混合モデル（FMMs）が真の成分数を信頼性高く推定できないことを示している。ガウス分布やその他の位置スケール族を含む、穏やかで現実的な成分分布の仮定のもとで、データサイズが増加するにつれて、任意の有限成分数の事後確率は0に収束し、モデルが正確に指定されている場合の事後一様性にもかかわらず、推論が発散することになる。

ABSTRACT

Scientists and engineers are often interested in learning the number of subpopulations (or components) present in a data set. A common suggestion is to use a finite mixture model (FMM) with a prior on the number of components. Past work has shown the resulting FMM component-count posterior is consistent; that is, the posterior concentrates on the true, generating number of components. But consistency requires the assumption that the component likelihoods are perfectly specified, which is unrealistic in practice. In this paper, we add rigor to data-analysis folk wisdom by proving that under even the slightest model misspecification, the FMM component-count posterior diverges: the posterior probability of any particular finite number of components converges to 0 in the limit of infinite data. Contrary to intuition, posterior-density consistency is not sufficient to establish this result. We develop novel sufficient conditions that are more realistic and easily checkable than those common in the asymptotics literature. We illustrate practical consequences of our theory on simulated and real data.

研究の動機と目的

• 成分の尤度が誤って指定されている場合に、有限混合モデル（FMMs）が真の成分数を推定する信頼性を調査すること。
• モデル誤り指定下でも事後一様性が保証されるという一般的な仮定が、信頼できる推論を意味するとは限らないことを挑戦すること。
• FMMsが任意に小さなモデル誤差がある場合でも成分数推定において発散する、厳密で検証可能な条件を確立すること。
• 成分数の過剰推定が単なるヒューリスティックな懸念ではなく、穏やかな正則性条件下で数学的に保証された発散であることを示すこと。
• 成分数事後分布がデータサイズに著しく依存することを、理論的・実証的証拠をもって示し、実践における再現性の欠如を裏付けること。

提案手法

• 成分数に事前分布を導入したFMMフレームワークを形式化し、成分数に関する事後分布の漸近的挙動を分析すること。
• 混合モデル同定可能性と退化極限条件に基づく、新たな理論的枠組みを導入し、誤り指定下でのモデル挙動を評価すること。
• タイトネスと弱収束の議論を用いて、パラメータが発散する成分分布（例：無限大の分散や平均）の系列が、集中しない事後分布を引き起こすことを示すこと。
• 絶対連続性、混合モデル同定可能性などの穏やかで検証可能な仮定のもとで、任意の固定された有限成分数の事後確率が、データが増加するにつれてほとんど確実に0に収束することを証明すること。
• データ依存事前分布へ結果を拡張し、事前分布がデータサイズに応じて適応しても、誤り指定下では発散が持続することを示すこと。
• 一般的な成分族（例：多変量ガウス分布、コーシー分布、ロジスティック分布）に理論を適用し、理論的補題と命題を用いてその適用可能性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 成分の尤度がわずかに誤って指定されている場合、有限混合モデルにおける成分数に関する事後分布は、真の成分数に収束するか？
• RQ2 モデルが正確に指定されている場合の事後一様性は、誤り指定下でも信頼できる推論を保証するものではないという点で、誤解を招く可能性があるか？
• RQ3 成分分布に必要な最小限で検証可能な条件は何か？ それらの条件が満たされると、誤り指定下で成分数事後分布が発散することが保証される。
• RQ4 モデルが誤って指定されている場合、データサイズが増加するにつれてFMMの事後分布の挙動はどのように変化するか？ 特に成分数の過剰推定の観点から。
• RQ5 データ依存事前分布は、成分数推定における発散問題を緩和できるか、あるいは依然として解決しないか？

主な発見

• わずかなモデル誤り指定でさえも、データサイズが増加するにつれて、任意の有限成分数の事後確率はほとんど確実に0に収束する。
• この発散は、単変量および多変量ガウス成分を含む広範なFMMクラスで発生し、穏やかで検証可能な仮定のもとで成立する。
• モデルが正確に指定されている場合の事後一様性は、誤り指定下での信頼できる推論を保証しない。これは、標準的なFMMの実用的有用性を損なう。
• 実データおよびシミュレートデータに対する実証的結果は、より多くのデータが得られるにつれて、成分数事後分布が増加する値に集中することを示しており、推論の信頼性が欠如していることを示している。
• 理論的枠組みは、成分分布の退化極限（例：分散が0に近づく）が、事後分布の発散の主な要因であると特定している。
• データ依存事前分布であっても、この発散は成立するため、誤り指定下でのFMMの発散は、事前分布の選択によるアーティファクトではなく、根本的な性質であることが示された。