[論文レビュー] Convergence of the EM Algorithm for Gaussian Mixtures with Unbalanced Mixing Coefficients

Iftekhar Naim, Daniel Gildea|arXiv (Cornell University)|Jun 27, 2012

Bayesian Methods and Mixture Models参考文献 16被引用数 36

ひとこと要約

本稿は、混合係数が不均衡な場合のガウス混合モデルにおけるEMアルゴリズムの収束遅延を調査する。不均衡な混合係数に対応するため、最適化中に成分の重みを調整することで収束を加速する決定的アンチアンネーリング手法を提案する。この手法は、標準EM、BFGS、共役勾配法を上回り、ディリクレ過程混合モデルへの応用も可能となり、変分ベイズ手法を上回る性能を示す。

ABSTRACT

The speed of convergence of the Expectation Maximization (EM) algorithm for Gaussian mixture model fitting is known to be dependent on the amount of overlap among the mixture components. In this paper, we study the impact of mixing coefficients on the convergence of EM. We show that when the mixture components exhibit some overlap, the convergence of EM becomes slower as the dynamic range among the mixing coefficients increases. We propose a deterministic anti-annealing algorithm, that significantly improves the speed of convergence of EM for such mixtures with unbalanced mixing coefficients. The proposed algorithm is compared against other standard optimization techniques like BFGS, Conjugate Gradient, and the traditional EM algorithm. Finally, we propose a similar deterministic anti-annealing based algorithm for the Dirichlet process mixture model and demonstrate its advantages over the conventional variational Bayesian approach.

研究の動機と目的

• 混合係数が不均衡な場合に、ガウス混合モデルにおけるEMアルゴリズムの収束速度に及ぼす影響を分析すること。
• 混合係数の動的範囲が大きい場合に、混合成分の収束が遅くなるという課題に対処すること。
• 不均衡な混合成分に対してEM収束を改善する決定的アンチアンネーリングアルゴリズムを開発すること。
• アンチアンネーリング手法をディリクレ過程混合モデルに拡張し、変分ベイズ推論と比較すること。

提案手法

• EM反復中に混合係数を体系的に調整することで収束時間を短縮する決定的アンチアンネーリングアルゴリズムを提案する。
• 最適化の初期段階で、代表されない成分の影響を高める重み再配分戦略を導入する。
• アンチアンネーリング機構を、標準ガウス混合モデルおよびディリクレ過程混合モデルの両方へ適用する。
• 確率的サンプリングを用いずに、勾配に基づく最適化フレームワークを用いて再配分プロセスをガイドする。
• 標準EM、BFGS、共役勾配法、および変分ベイズ推論と比較して、提案手法の性能を評価する。
• 合成データおよび実データを用いた実証的評価により、収束速度とモデル適合度の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 混合係数の動的範囲が、ガウス混合モデルにおけるEM収束にどのように影響するか？
• RQ2 決定的再配分戦略は、不均衡な混合成分におけるEM収束速度を向上させることができるか？
• RQ3 アンチアンネーリング手法は、BFGS や共役勾配法といった標準的最適化手法と比較して、どのように性能を発揮するか？
• RQ4 アンチアンネーリング原理は、ディリクレ過程混合モデルのようなノンパラメトリックモデルへ拡張可能か？
• RQ5 提案手法は、収束速度および精度の観点で、変分ベイズ推論を上回る性能を示すか？

主な発見

• 混合係数の動的範囲が大きくなるほど、EMアルゴリズムの収束が著しく遅くなる。特に成分が重複する場合に顕著である。
• 提案されたアンチアンネーリングアルゴリズムは、標準EM、BFGS、共役勾配法と比較して、収束が著しく高速化される。
• モデル適合度を損なわず、特に成分重みに著しい不均衡がある状況でも、収束が高速化される。
• アンチアンネーリング手法は、従来の変分ベイズ的手法に比べ、ディリクル過程混合モデルにおいて性能が向上する。
• 実証的結果から、不均衡な混合成分を含む複数の合成データおよび実世界データセットにおいて、一貫した高速化が確認された。