[論文レビュー] Robust mixture modelling using sub-Gaussian stable distribution

Mahdi Teimouri, Saeid Rezakhah+1 more|arXiv (Cornell University)|Jan 24, 2017

Bayesian Methods and Mixture Models参考文献 16被引用数 3

ひとこと要約

本稿では、有限混合のサブガウス型α安定分布におけるパラメータ推定のための期待値最大化（EM）アルゴリズムを提案する。これは、従来のガウス混合モデルの代替としてのロバストな手法である。本手法は、外れ値を含む重たい裾を持つデータのモデリングにおいて優れた性能を示し、合成データおよび実世界のデータセットにおいて、標準的なモデルを上回る性能を発揮する。

ABSTRACT

Heavy-tailed distributions are widely used in robust mixture modelling due to possessing thick tails. As a computationally tractable subclass of the stable distributions, sub-Gaussian $\alpha$-stable distribution received much interest in the literature. Here, we introduce a type of expectation maximization algorithm that estimates parameters of a mixture of sub-Gaussian stable distributions. A comparative study, in the presence of some well-known mixture models, is performed to show the robustness and performance of the mixture of sub-Gaussian $\alpha$-stable distributions for modelling, simulated, synthetic, and real data.

研究の動機と目的

• 重たい裾を持つデータや外れ値に敏感なガウス混合モデルの限界を解消すること。
• サブガウス型α安定分布を、計算的に取り扱いやすい安定分布の部分クラスとして用いることで、ロバストな混合モデリングを検討すること。
• この分布クラスのパラメータ推定のための効率的なEMフレームワークに基づくアルゴリズムを開発すること。
• 合成データおよび実データ上で、提案された混合モデルの性能を、よく知られた混合モデルと比較して評価すること。

提案手法

• 有限混合のサブガウス型α安定分布における位置、スケール、尾指数パラメータの推定のため、期待値最大化（EM）アルゴリズムを適応する。
• EMアルゴリズムのEステップにおける解析的取り扱いを可能にするために、サブガウス型α安定分布の特性関数を用いる。
• Eステップにおける尤度計算における扱いにくい積分を処理するために、数値積分または近似手法を用いる。
• Eステップで得られた期待十分統計量を基に、Mステップで混合成分のパラメータを更新する。
• 混合モデルの最適な成分数を決定するために、モデル選択基準（例：AIC/BIC）を組み込む。
• 制御された重たい裾を持つ行動を有する合成データと、既知の外れ値を含む実世界のデータセットを用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 外れ値に対して、サブガウス型α安定分布の混合モデルは、古典的なガウス混合モデルや他の重たい裾を持つ混合モデルと比べて、どの程度ロバストであるか？
• RQ2 提案されたEMアルゴリズムは、実用的な状況において、サブガウス型α安定混合成分のパラメータを効果的に推定できるか？
• RQ3 重たい裾と非対称性を持つ既知の分布を有する合成データにおいて、モデルの性能はいかがなものか？
• RQ4 異常値や重たい裾を持つ観測値を含む実世界のデータセットにおいて、モデルの汎化性能はどの程度高いか？

主な発見

• サブガウス型α安定分布の混合モデルは、重たい裾を持つデータのフィッティングにおいて、ガウス混合モデルや他の標準的混合モデルを一貫して上回る性能を示す。
• 提案されたEMアルゴリズムは、収束が信頼性があり、著しい外れ値が存在する状況でも安定したパラメータ推定を提供する。
• 重たい裾を持つ成分を有する合成データセットにおいて、本モデルは競合モデルと比較して、より低いAICおよびBIC値を達成する。
• 実データの実験において、本モデルは尾部の挙動をよりよく捉え、ガウス混合モデルよりも正確なクラスタリングを実現する。
• モデルの誤指定に対してもロバストであり、汚染度が変化する状況下でも高い精度を維持する。
• サブガウス型α安定分布の使用により、対称的な安定分布やガウス分布の代替と比較して、非対称性と重たい裾を持つデータの表現がより適切に可能になる。