[論文レビュー] Mixtures of Variance-Gamma Distributions

Sharon M. McNicholas, Paul D. McNicholas+1 more|arXiv (Cornell University)|Sep 10, 2013

Bayesian Methods and Mixture Models参考文献 31被引用数 17

ひとこと要約

本稿では、モデルベースクラスタリングおよび分類のためのガウス有限混合モデルの柔軟な代替手法として、分散ガンマ分布の混合を提案する。一般化逆ガウス分布を活用し、パラメータ推定にEMアルゴリズムを用いることで、ガウス混合モデルに比べて、裾の重たいおよび非対称なデータをより効果的に捉えることができ、非ガウス的状況下でも識別性と性能が向上する。

ABSTRACT

A mixture of variance-gamma distributions is introduced and developed for model-based clustering and classification. The latest in a growing line of non-Gaussian mixture approaches to clustering and classification, the proposed mixture of variance-gamma distributions is a special case of the recently developed mixture of generalized hyperbolic distributions, and a restriction is required to ensure identifiability. Our mixture of variance-gamma distributions is perhaps the most useful such special case and, we will contend, may be more useful than the mixture of generalized hyperbolic distributions in some cases. In addition to being an alternative to the mixture of generalized hyperbolic distributions, our mixture of variance-gamma distributions serves as an alternative to the ubiquitous mixture of Gaussian distributions, which is a special case, as well as several non-Gaussian approaches, some of which are special cases. The mathematical development of our mixture of variance-gamma distributions model relies on its relationship with the generalized inverse Gaussian distribution; accordingly, the latter is reviewed before our mixture of variance-gamma distributions is presented. Parameter estimation carried out within the expectation-maximization framework.

研究の動機と目的

• ガウス分布の仮定を越えた、クラスタリングおよび分類のためのロバストな有限混合モデルの開発。
• 一般化された双曲的分布の特殊ケースとしての分散ガンマ分布混合を提案し、識別性の向上を図る。
• 一般化逆ガウス分布との関係を活用した、EMアルゴリズムを用いた計算的に実行可能な推定フレームワークの提供。
• 高次元または非対称なデータの状況下で、ガウス混合モデルや他の非ガウスモデルに対する実用的代替手段の提供。
• 裾の重たいおよび非対称なデータに対して、より高い柔軟性を備えたモデルベースクラスタリング、分類、判別分析への応用を可能にする。

提案手法

• 混合モデルは、一般化された双曲的分布の制限されたケース（λ = γ および ψ = 2γ）として導かれた分散ガンマ成分密度の凸結合として定義される。
• パラメータ推定は、期待値最大化（EM）アルゴリズムを用いて実施され、位置、散乱、および分散ガンマパラメータの閉形式更新が可能である。
• EMアルゴリズムは、一般化逆ガウス（GIG）分布と関連する潜在変数を介した分散ガンマ分布の階層的構造を活用する。
• 主な更新式には、平均ベクトル μg、共分散行列 Σg、およびパラメータ αg と γg が含まれ、条件付き期待値とディガンマ関数を用いて導出される。
• 収束は、アイトケン加速法を用いて監視され、漸近的対数尤度の改善を推定する。
• モデル選択は、ベイズ情報量基準（BIC）に従い、適合度と複雑さのバランスを取るために、G を BIC を最大化するように選ぶ。

実験結果

リサーチクエスチョン

• RQ1 分散ガンマ分布の混合は、クラスタリングおよび分類において、ガウス有限混合モデルよりも柔軟かつロバストな代替手段を提供できるか？
• RQ2 他の非ガウス混合モデルと比較して、分散ガンマ混合モデルは、歪度および裾の重たい性質をどの程度効果的に捉えられるか？
• RQ3 EMフレームワークにおいて一般化逆ガウス分布を共役事前分布として用いることによる、計算的および統計的利点は何か？
• RQ4 どのような状況下で、分散ガンマ混合モデルは、より広範な一般化された双曲的混合モデルや他の非ガウス的代替モデルを上回る性能を発揮するか？
• RQ5 識別性と推定安定性を維持したまま、半教師ありおよび判別分析設定にモデルを拡張する方法は何か？

主な発見

• 分散ガンマ分布の混合は、一般化された双曲的分布の特殊かつ識別可能なケースであり、完全な一般化された双曲的モデルに比べ、より安定的かつ解釈可能な代替手段を提供する。
• EMアルゴリズムにより、μg、Σg、αg、γg すべてのパラメータについて閉形式の更新が可能であり、効率的かつ信頼性の高い推定が可能になる。
• 非楕円的クラスタ構造を捉える能力を示すことで、歪度および裾の重たいデータに対して、ガウス混合モデルに比べて適合度が向上することが実証された。
• アイトケン加速法の使用により、収束モニタリングが強化され、漸近的対数尤度推定値が許容誤差 ε 内で安定した時点で収束と判断される。
• ベイズ情報量基準（BIC）は、有限標本設定下で適合度と複雑さのバランスを取るために、最適な成分数 G の選択に効果的に機能する。
• 本モデルは、モデルベースクラスタリング、分類、および判別分析に適用可能であり、分数的教師あり学習や変分ベイズ推定への拡張の可能性を有する。