[論文レビュー] Clustering using skewed multivariate heavy tailed distributions with flexible tail behaviour

Darren Wraith, Florence Forbes|arXiv (Cornell University)|Aug 1, 2014

Bayesian Methods and Mixture Models参考文献 30被引用数 5

ひとこと要約

本論文は、一般化双曲分布の複数スケール拡張を用いた柔軟な多次元クラスタリングフレームワークを提案する。この手法により、相関行列を任意に保ちつつ、各次元で独立に尾重さと歪度を制御できる。混合分布におけるパrameter推定にはEMアルゴリズムを採用し、標準的なガウス分布やt分布の混合モデルに比べ、非対称で尾が重いデータのモデリングを著しく改善する。

ABSTRACT

The family of location and scale mixtures of Gaussians has the ability to generate a number of flexible distributional forms. It nests as particular cases several important asymmetric distributions like the Generalised Hyperbolic distribution. The Generalised Hyperbolic distribution in turn nests many other well known distributions such as the Normal Inverse Gaussian (NIG) whose practical relevance has been widely documented in the literature. In a multivariate setting, we propose to extend the standard location and scale mixture concept into a so called multiple scaled framework which has the advantage of allowing different tail and skewness behaviours in each dimension of the variable space with arbitrary correlation between dimensions. Estimation of the parameters is provided via an EM algorithm with a particular focus on NIG distributions. Inference is then extended to cover the case of mixtures of such multiple scaled distributions for application to clustering. Assessments on simulated and real data confirm the gain in degrees of freedom and flexibility in modelling data of varying tail behaviour and directional shape.

研究の動機と目的

• 標準的なガウス分布やt分布の混合モデルが、次元ごとに異なる尾の挙動を示す非対称で尾の重い多次元データを適切に扱えないという限界を解消すること。
• 各次元に個別のスケールパラメータを導入することで、位置とスケールの混合ガウスフレームワークを拡張し、各変数における尾の重さと歪度を独立に制御可能にする。
• この複数スケールフレームワークにおいて、正規逆ガウス（NIG）分布の混合に特化したEMアルゴリズムを用いた、頑健な推定手順を開発すること。
• ファイナンス、地球科学、信号処理分野において、複雑な周辺分布および依存構造を示す実世界データの柔軟なクラスタリングを可能にすること。
• シミュレーションおよび実データ実験を通じて、モデルの優位性が方向的形状と尾の挙動を的確に捉えられることを検証すること。

提案手法

• 各次元に固有のスケールパラメータを持つ、複数スケール化された位置とスケールの混合ガウスを提案し、各次元における尾の重さと歪度の独立した挙動を可能にする。
• 歪度と尾の重さのモデリングに、特に正規逆ガウス（NIG）分布を含む一般化双曲（GH）分布族を基本分布として採用する。
• Q関数の反復最適化に基づき、すべてのパラメータ（成分の平均、共分散行列、歪度ベクトル、スケールパラメータ）に対して閉形式の更新式を導出するEMアルゴリズムを構築する。
• EM更新の過程でスケールと歪度の効果を分離するために、対角行列D_kおよび変換済みパラメータA_k, β_kを用いた再パラメータライゼーションを導入する。
• 正定値性と数値的安定性を保証するため、D_kの更新には修正されたFlury-Gautschiアルゴリズムを用いたトレースに基づく最小化法を適用する。
• スケール行列A_kの推定を安定化させるために、α_kを用いた対数尤度ペナルティ項を導入し、過剰適合を防止する。

実験結果

リサーチクエスチョン

• RQ1 一般化双曲（GH）分布の複数スケール拡張は、標準的な混合モデルに比べ、非対称で尾の重い多次元データをより効果的にモデル化できるか？
• RQ2 各次元の尾と歪度を独立に制御できるようにすることで、複雑な周辺構造を示す実世界データセットにおけるクラスタリング性能が向上するか？
• RQ3 提案されたEMアルゴリズムは、収束性およびパラメータ推定の正確性において、既存手法に比べて優れているか？
• RQ4 高次元データにおいて、モデルは方向的形状と尾の依存構造をどの程度正確に捉えることができるか？
• RQ5 正規逆ガウス（NIG）分布は、ファイナンスや地球科学などの応用分野における頑健なクラスタリングに適した実用的選択肢と見なせるか？

主な発見

• 提案された複数スケールモデルは、尾の挙動が異なるシミュレーションデータおよび方向的歪度を示すデータにおいて、標準的なガウス分布やt分布の混合モデルに比べて顕著に優れたクラスタリング性能を示した。
• EMアルゴリズムは安定的かつ効率的に収束し、歪度行列やスケール行列を含むすべてのパラメータに対して閉形式の更新式が得られた。
• モデルは各次元において独立に重尾かつ歪度のある周辺分布を的確に捉えることができ、ファイナンスリターンや地球物理的信号などの実世界データへの適合性が向上した。
• χ(q)プロットを用いた実証的評価により、モデルが尾の依存構造を正確に捉えていることが確認され、分位数依存の依存度測定値が真のデータ特性を反映していた。
• D_kおよびÂ_kによる再パラメータライゼーションにより、数値的安定性が確保され、高次元設定下でも解釈可能なパラメータ更新が可能となり、モデルの頑健性が向上した。
• ファイナンスや信号処理などの応用分野において、強い非対称性と重尾を示すデータに対して、本手法は実用的意義を有していることが示された。