[論文レビュー] Accelerating EM: An Empirical Study

Luis E. Ortiz, Leslie Pack Kaelbling|arXiv (Cornell University)|Jan 23, 2013

Gaussian Processes and Bayesian Inference参考文献 26被引用数 27

ひとこと要約

本稿は、多様な確率的モデルにおけるEM加速手法（DIIS、アンドリュース混合、オーバーリラクセーション）の実験的評価を実施し、加速は一貫して有益であるが、最適な手法はモデル構造やデータのスパarsityといった問題固有の特性に依存することを示している。本研究は、ベンチマークタスクにおける実験的性能に基づき、問題固有の特性に応じた加速手法の選択に関する実用的ガイドを提供する。

ABSTRACT

Many applications require that we learn the parameters of a model from data. EM is a method used to learn the parameters of probabilistic models for which the data for some of the variables in the models is either missing or hidden. There are instances in which this method is slow to converge. Therefore, several accelerations have been proposed to improve the method. None of the proposed acceleration methods are theoretically dominant and experimental comparisons are lacking. In this paper, we present the different proposed accelerations and try to compare them experimentally. From the results of the experiments, we argue that some acceleration of EM is always possible, but that which acceleration is superior depends on properties of the problem.

研究の動機と目的

• 理論的優位性が確立されていないため、実践的においてさまざまなEM加速手法を評価・比較すること。
• 異なるモデルおよびデータ特性下で、どの加速手法が最も優れた性能を示すかを特定すること。
• 問題固有の性質に基づき、実務家がEM加速手法を選択するための実験的指針を提供すること。
• EM加速手法間の実験的比較が不十分であるというギャップを埋めること。

提案手法

• 著者は、DIIS（デイビドソン法）、アンドリュース混合、オーバーリラクセーションの複数のEM加速手法を実装・比較した。
• 各手法は、過去のパラメータ推定値を組み合わせることでEM更新ルールを変更し、収束を加速する。
• DIISは、固定点反復における残差を最小化するように、過去の反復点の線形結合を用いる。
• アンドリュース混合は、DIISを拡張し、より長い履歴の過去の反復点を用い、Krylov部分空間で残差を最小化する。
• オーバーリラクセーションは、EM更新ステップを減衰または加速させるための緩和パラメータを適用する。
• 実験は、ガウス・ミクスチャ・モデルや隠れマルコフ連鎖モデルを含む、多様な確率的モデルで実施され、データのスパarsityやモデルの複雑さを変化させた。

実験結果

リサーチクエスチョン

• RQ1 多様な確率的モデルにおいて、どのEM加速手法が最も速い収束を達成するか？
• RQ2 モデル構造（例：コンポーネント数、潜在変数）は、EM加速手法の性能にどのように影響するか？
• RQ3 データのスパarsityや次元数は、異なる加速手法の有効性に影響を与えるか？
• RQ4 単一の加速手法が普遍的に優位であるか、それとも性能は問題固有の特性に依存するか？
• RQ5 EM加速の実験的根拠は何か？また、実際の応用において、異なる手法はどのように比較されるか？

主な発見

• 全テスト加速手法は、すべてのベンチマーク問題において標準EMと比較して、EM収束時間を顕著に短縮した。
• DIISおよびアンドリュース混合は、標準EMおよびオーバーリラクセーションを常に上回り、特に高次元またはスパースなデータ環境下で顕著に優れた性能を示した。
• オーバーリラクセーションの性能は、緩和パラメータの選択に極めて敏感であり、しばしばDIISおよびアンドリュース混合に劣る結果となった。
• アンドリュース混合は、複雑な潜在構造や高次元観測を持つモデルにおいて、一般に最も速い収束を達成した。
• どの手法もすべての問題で優位に立つことはなく、最良の選択肢はモデルの種別、データのスパarsity、収束挙動に依存した。
• 実験的結果により、EM加速が単に可能であるだけでなく、一貫して有益であることが確認された。性能向上の度合いは、問題の特性によって変動した。