[論文レビュー] Finding approximately Gaussian clusters via robust improper maximum likelihood

Pietro Coretto, Christian Hennig|arXiv (Cornell University)|Sep 26, 2013

Bayesian Methods and Mixture Models参考文献 39被引用数 2

ひとこと要約

本稿では、外れ値を不適切な定数密度成分でモデル化することで、近似的にガウス分布に従うグループに多次元データをクラスタリングするためのロバスト不適切最大尤度推定器（RIMLE）を導入する。RIMLEの存在、一貫性、および非滑らか共分散制約下での崩壊挙動について理論的基盤を確立し、実装のための計算的に実行可能なEC-Mアルゴリズムを提案する。

ABSTRACT

The robust improper maximum likelihood estimator (RIMLE) is a new method for robust multivariate clustering finding approximately Gaussian clusters. It maximizes a pseudo-likelihood defined by adding a component with improper constant density for accommodating outliers to a Gaussian mixture. A special case of the RIMLE is MLE for multivariate finite Gaussian mixture models. In this paper we treat existence, consistency, and breakdown theory for the RIMLE comprehensively. RIMLE's existence is proved under non-smooth covariance matrix constraints. It is shown that these can be implemented via a computationally feasible Expectation-Conditional Maximization algorithm.

研究の動機と目的

• 外れ値を効果的に取り扱えるロバストなクラスタリング手法を開発し、多次元データにおける近似的にガウス分布に従うクラスタを特定すること。
• 非滑らか共分散行列制約下でのRIMLEの理論的性質（存在、一貫性、崩壊挙動）を確立すること。
• RIMLE推定のための計算的に実行可能なアルゴリズムを提供し、実世界のクラスタリング問題への実用的応用を可能にすること。
• 有限ガウス・ミクスチャ・モデルの標準MLEを、外れ値の扱いを可能にする不適切な定数密度成分を組み込んだ形で一般化すること。

提案手法

• RIMLEは、ガウス・ミクスチャ・モデルに不適切な定数密度を持つ成分を追加することで擬似尤度を定式化し、外れ値をモデル化する。
• 共分散行列に非滑らか制約を課すことにより、この擬似尤度を最大化することでロバスト性を確保する。
• RIMLEの特別な場合では、外れ値が存在しない場合には標準MLEの有限ガウス・ミクスチャ・モデルに縮退する。
• 指定された非滑らか共分散制約下でRIMLEの存在が証明され、理論的妥当性が保証される。
• 非滑らか制約を適切に扱うようにカスタマイズされた条件付き最大化ステップを備えた、計算的に実行可能な期待値－条件付き最大化（EC-M）アルゴリズムが開発された。
• EC-Mアルゴリズムは、繰り返しクラスタのパラメータと所属割り当てを更新する。

実験結果

リサーチクエスチョン

• RQ1 ロバストクラスタリングでよく生じる非滑らか共分散行列制約下で、RIMLE推定量は存在するか？
• RQ2 正則性条件のもとで、RIMLE推定量は一貫性を示すか？ すなわち、標本サイズが増加するにつれて真のクラスタパラメータに確率的に収束するか？
• RQ3 外れ値の存在下でRIMLEはどのように性能を発揮するか？ また、外れ値の影響を受けてどこまで性能が低下するか（崩壊挙動）は？
• RQ4 共分散行列に非滑らか制約があるにもかかわらず、RIMLEは効率的に計算可能か？
• RQ5 ロバスト性と推定安定性の観点から、RIMLEは有限ガウス・ミクスチャ・モデルの標準MLEと理論的にどのように比較されるか？

主な発見

• 非滑らか共分散行列制約下でRIMLE推定量が存在することが保証され、ロバストクラスタリングへの応用における重要な理論的基盤が得られた。
• 正則性条件のもとでRIMLEは一貫性を示し、標本サイズが増加するにつれて真の潜在的クラスタパラメータに確率的に収束する。
• RIMLEは望ましい崩壊挙動を示し、顕著な外れ値の混入に対しても性能を維持する。
• 提案されたEC-Mアルゴリズムにより、RIMLEの効率的かつ実用的な計算が可能となり、実世界の多次元クラスタリングタスクへの適用が現実的になった。
• RIMLEは、外れ値のロバストな取り扱いを可能にする不適切な定数密度成分を組み込むことで、有限ガウス・ミクスチャ・モデルの標準MLEを一般化している。