[論文レビュー] A survey on Bayesian inference for Gaussian mixture model

Jun Lu|arXiv (Cornell University)|Aug 20, 2021

Bayesian Methods and Mixture Models参考文献 60被引用数 7

ひとこと要約

本調査は、有限および無限のガウス混合モデルにおけるベイズ推論の包括的で自己完結的な入門を提供しており、共役事前分布、ディリクレ過程、ギブスサンプリングといった基礎的概念をカバーしている。理論的厳密性に重点を置き、詳細な導出を提示するとともに、実用的な推論技術と指標を通じて現代の応用を強調している。

ABSTRACT

Clustering has become a core technology in machine learning, largely due to its application in the field of unsupervised learning, clustering, classification, and density estimation. A frequentist approach exists to hand clustering based on mixture model which is known as the EM algorithm where the parameters of the mixture model are usually estimated into a maximum likelihood estimation framework. Bayesian approach for finite and infinite Gaussian mixture model generates point estimates for all variables as well as associated uncertainty in the form of the whole estimates' posterior distribution. The sole aim of this survey is to give a self-contained introduction to concepts and mathematical tools in Bayesian inference for finite and infinite Gaussian mixture model in order to seamlessly introduce their applications in subsequent sections. However, we clearly realize our inability to cover all the useful and interesting results concerning this field and given the paucity of scope to present this discussion, e.g., the separated analysis of the generation of Dirichlet samples by stick-breaking and Polya's Urn approaches. We refer the reader to literature in the field of the Dirichlet process mixture model for a much detailed introduction to the related fields. Some excellent examples include (Frigyik et al., 2010; Murphy, 2012; Gelman et al., 2014; Hoff, 2009). This survey is primarily a summary of purpose, significance of important background and techniques for Gaussian mixture model, e.g., Dirichlet prior, Chinese restaurant process, and most importantly the origin and complexity of the methods which shed light on their modern applications. The mathematical prerequisite is a first course in probability. Other than this modest background, the development is self-contained, with rigorous proofs provided throughout.

研究の動機と目的

• 有限および無限のガウス混合モデルにおけるベイズ推論の自己完結的で数学的に厳密な入門を提供すること。
• 共役事前分布、チャイナレストランプロセス、ディリクレ過程といった主要なツールが不確実性とクラスタリングのモデリングにおいて果たす役割を明確にすること。
• コラプセッドギブスサンプリングや適応的再帰サンプリングといった基礎的技術を完全な導出とともに提示すること。
• コーシー分解や pruning 法のような最適化戦略を通じて、推論の複雑さの分析と最適化戦略を用いて現代の応用への洞察を提供すること。
• 最小限の確率論の前提知識（基本的な確率論を除く）に基づき、事後分布の濃縮や漸近的挙動といった理論的性質を研究者にガイドすること。

提案手法

• 多変量ガウス成分における平均と分散の同時推定に、特にノルム・インバース・ワイスハート（NIW）分布を含む共役事前分布を用いる。
• クラスターパラメータを周辺化するためのコラプセッドギブスサンプリングを適用し、平均と分散を統合することで、事後分布推論を簡素化する。
• 特に高次元設定においても効率的にサンプリングできるように、対数凸性を持つ事後密度からのサンプリングに適応的再帰サンプリング（ARS）を採用する。
• クラスタ数が未知でかつ有限でない場合のモデリングを可能にする非パラメトリック事前分布として、チャイナレストランプロセス（CRP）とディリクレ過程（DP）を導入する。
• 行列演算における計算効率を高めるために、コーシー分解を活用し、行列式の計算やランク1更新を効率的に行う。
• 無限混合モデルにおけるスケーラビリティを向上させるために、制約付きサンプリング（cSampling）や損失に基づくサンプリング（lSampling）といった pruning 技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 共役事前分布をどのように系統的に適用することで、ガウス混合モデルにおける閉形式の事後分布を導出できるか？
• RQ2 有限モデルにおける混合重みに対称ディリクレ事前分布を適用した場合の、事後分布の理論的性質は何か？
• RQ3 チャイナレストランプロセスは、未知の成分数を持つ非パラメトリックベイズクラスタリングをどのように可能にするか？
• RQ4 有限および無限のガウス混合モデルにおいて、コラプセッドギブスサンプリングを用いる際の計算的・統計的トレードオフは何か？
• RQ5 コーシー分解や pruning といった最適化技術は、大規模な設定における事後分布推論の効率をどのように向上させることができるか？

主な発見

• ノルム・インバース・ワイスハート（NIW）事前分布は、多変量ガウス成分の平均と分散に対して閉形式の事後分布をもたらし、正確なベイズ推論を可能にする。
• コラプセッドギブスサンプリングは、クラスターパラメータを統合することで計算コストを低減し、コーシー分解に基づく更新では計算量が O(n³) に比例する。
• チャイナレストランプロセスは、ディリクレ過程のスティック・ブレイキング構成を提供し、未知の数の成分を持つ非パラメトリッククラスタリングを可能にする。
• 共役事前分布のもとでは、新しいデータの事後予測分布が解析的に扱えるため、モデルの評価と予測に有効である。
• 関数 $ \Gamma(Kx)/[\Gamma(x)]^K $ は厳密に対数凸である。この性質は、ディリクル過程モデリングにおける理論的保証の根拠となっている。
• cSampling や lSampling といった pruning 法は、推論中に冗長な成分を排除することで、無限混合モデルにおける計算オーバーヘッドを顕著に低減する。