[論文レビュー] On the EM-Tau algorithm: a new EM-style algorithm with partial E-steps

Val Andrei Fajardo, Jiaxi Liang|arXiv (Cornell University)|Nov 21, 2017

Blind Source Separation Techniques参考文献 16被引用数 3

ひとこと要約

本稿では、所属確率ヒープに基づく動的しきい値戦略を用いて部分的Eステップを実行することで収束を高速化する、EMと似た新しい手法であるEM-Tauアルゴリズムを紹介する。最も不確実なデータポイント（所属確率ヒープの上位τ%に該当するもの）のみを再評価することで、EM-Tauは従来のEMに比べ最大60%の高速化を達成し、分類誤差の増加は0.2%未満に抑えられ、大規模データセットにおいて高い正確性を維持しながら計算コストを著しく削減する。

ABSTRACT

The EM algorithm is one of many important tools in the field of statistics. While often used for imputing missing data, its widespread applications include other common statistical tasks, such as clustering. In clustering, the EM algorithm assumes a parametric distribution for the clusters, whose parameters are estimated through a novel iterative procedure that is based on the theory of maximum likelihood. However, one major drawback of the EM algorithm, that renders it impractical especially when working with large datasets, is that it often requires several passes of the data before convergence. In this paper, we introduce a new EM-style algorithm that implements a novel policy for performing partial E-steps. We call the new algorithm the EM-Tau algorithm, which can approximate the traditional EM algorithm with high accuracy but with only a fraction of the running time.

研究の動機と目的

• 大規模データセットにおける従来のEMアルゴリズムの収束が遅いという問題に対処すること。
• Eステップの計算を削減することで、高い正確性を維持しつつ計算効率の良いEMの代替手法を開発すること。
• 所属確率ヒープの動的しきい値を用いた新しい部分的Eステップポリシーを導入すること。
• クラスタリングタスクにおける計算効率と近似正確性のトレードオフを評価すること。

提案手法

• EM-Tauアルゴリズムは、クラスタ間で所属確率ヒープが最も高い上位τ%のデータポイントを特定し、それらのみを再評価することで部分的Eステップを実行する。
• 各クラスタに対して、最も不確実なデータポイント（高い後方確率値を持つもの）を追跡するためのヒープ構造を維持する。
• アルゴリズムは反復毎にアクティブなポイントの集合を動的に更新し、所属変更の可能性があるポイントにのみ計算を集中させる。
• Mステップは従来のEMアルゴリズムと同様に、部分的Eステップで得られたアクティブなポイントのみを用いてパラメータを更新する。
• しきい値τは、速度と正確性のトレードオフを制御する。τの値が高くなるほど、完全なEMの性能に近づく。
• 本手法はEMの収束特性に理論的根拠を置き、著しく緩い条件下でも部分的Eステップポリシーが尤度の単調増加を保つことを著者が証明している。

実験結果

リサーチクエスチョン

• RQ1 所属確率の動的しきい値による部分的Eステップポリシーは、クラスタリングの正確性を損なわず、EMの計算時間を顕著に短縮できるか？
• RQ2 しきい値パラメータτの選択が、EM-Tauにおける実行時間と近似品質のトレードオフにどのように影響するか？
• RQ3 部分的Eステップを用いるにもかかわらず、EM-Tauは従来のEMアルゴリズムと同様に尤度の単調増加性を維持するか？
• RQ4 実世界のクラスタリングタスクにおいて、EM-TauはEM*、Sparse EM、Lazy EMといった既存のEM変種と比べて、速度と正確性の点で優れているか？
• RQ5 EM-Tauフレームワークは、再訪問メカニズムや部分的Mステップといった追加の加速技術と組み合わせて拡張可能か？

主な発見

• τ = 20の場合、EM-Tauは従来のEMに比べて60%の高速化を達成し、実行時間は287.2秒から117.4秒に短縮されたが、分類誤差はわずか0.0007増加にとどまった。
• τ = 25の場合、EM-Tauの分類誤差は0.057227であり、従来のEMの0.057394とほぼ同一の正確性を示したが、計算量は著しく削減された。
• EM-Tau(25)は71回の反復を要した従来のEMと比べて56回の反復で収束した。これは部分的Eステップを採用しても高速な収束を達成していることを示している。
• EM*アルゴリズムは実験で信頼できる結果を出せなかったが、これはアクティブなポイントの過剰なプルーニングに起因すると考えられ、EM-Tauのよりバランスの取れたしきい値戦略の優位性を示している。
• K-meansクラスタリングは両方のEM手法と比べて著しく正確性が低く（分類誤差0.147184）、確率的モデリングの価値を強調している。
• 交差誤分類行列から、EM-Tau(25)は従来のEMとほとんど同一の性能を示しており、全クラスタにわたり最小限の誤分類が生じていることが確認された。