[論文レビュー] On the Global Convergence of (Fast) Incremental Expectation Maximization Methods

Belhal Karimi, Hoi-To Wai+2 more|arXiv (Cornell University)|Oct 28, 2019

Statistical Methods and Inference被引用数 16

ひとこと要約

本稿は、潜在変数モデルにおける段階的および分散低減付き確率的EMアルゴリズムの非漸近的全域収束レートを確立し、iEM、sEM、sEM-VRを共通の枠組みで統一する。新たに考案されたSAGAにインspiredされた段階的EMの変種を導入し、緩い条件下でも線形収束を証明し、収束レートは問題の条件数とデータサイズに依存する。

ABSTRACT

The EM algorithm is one of the most popular algorithm for inference in latent data models. The original formulation of the EM algorithm does not scale to large data set, because the whole data set is required at each iteration of the algorithm. To alleviate this problem, Neal and Hinton have proposed an incremental version of the EM (iEM) in which at each iteration the conditional expectation of the latent data (E-step) is updated only for a mini-batch of observations. Another approach has been proposed by Cappé and Moulines in which the E-step is replaced by a stochastic approximation step, closely related to stochastic gradient. In this paper, we analyze incremental and stochastic version of the EM algorithm as well as the variance reduced-version of Chen et. al. in a common unifying framework. We also introduce a new version incremental version, inspired by the SAGA algorithm by Defazio et. al. We establish non-asymptotic convergence bounds for global convergence. Numerical applications are presented in this article to illustrate our findings.

研究の動機と目的

• 大規模な潜在変数モデルにおける段階的および確率的EMアルゴリズムの非漸近的全域収束バウンズを確立すること。
• 十分統計量とパrameter空間解析に基づく共通の理論的枠組みを用いて、iEM、sEM、sEM-VRを統一すること。
• 分散低減のためのSAGAアルゴリズムにインスパイアされた新しい段階的EM変種を導入すること。
• 主要化最小化（MM）を用いたパrameter空間における収束解析と、固定点反復を用いた十分統計量空間における収束解析を実施すること。
• 問題の条件数、データサイズ、ステップサイズに依存する明示的な収束レートを導出すること。

提案手法

• EMアルゴリズムをパrameter空間における主要化最小化（MM）手法および十分統計量空間における固定点反復として定式化する。
• 条件付き期待値と確率的近似を用いて、段階的EM（iEM）、確率的EM（sEM）、分散低減付きsEM（sEM-VR）を統一的な枠組みで分析する。
• 過去の十分統計量を保持することで更新の分散を低減する、新規のSAGAにインスパイアされた段階的EM手法を導入する。
• リャプノフ解析を用いて収束バウンドを導出し、最適な十分統計量ベクトルからの期待二乗距離を追跡する。
• 過去の反復値とステップサイズを含む再帰的不等式を用いて期待誤差をバウンディングし、適切な条件下で線形収束を導く。
• 確率的近似および分散低減（例：Defazioら、2014年）の結果を応用し、確率的更新におけるノイズを制御する。

実験結果

リサーチクエスチョン

• RQ1 段階的および確率的EM手法は、明示的な収束レートを伴って非漸近的全域収束を達成できるか？
• RQ2 統一された理論的枠組み下で、iEM、sEM、sEM-VRの収束行動はどのように比較できるか？
• RQ3 SAGAスタイルのメモリを用いた分散低減は、EMアルゴリズムの収束速度にどのような影響を与えるか？
• RQ4 適切なステップサイズ選択のもとで、非凸設定における確率的EM変種について線形収束を確立できるか？
• RQ5 条件数とデータサイズは、確率的EM手法の収束レートにどのように影響するか？

主な発見

• 提案されたSAGAにインスパイアされた段階的EM手法は、問題の条件数とデータサイズに依存する収束レートで線形収束を達成する。
• iEM、sEM、sEM-VRについて非漸近的全域収束が確立され、適切なステップサイズ選択のもとで、iEMの収束レートはO(1/k)、sEM-VRの収束レートはO(1/k²)となる。
• 収束レートが条件数に関してO(1/n)であることが示され、データサイズが大きくなるほど性能が向上することが裏付けられる。
• 線形収束の十分条件として、ステップサイズγ ≤ a / (2(b + c(1 + n)))が導出され、ここでa, b, cは問題に依存する定数である。
• 解析により、分散低減が収束速度を顕著に向上させること、特に条件数が悪い問題において顕著であることが確認された。
• 理論的バウンズは数値的に検証され、複数の合成および実世界データセットにおいて観測された収束行動と整合性を示した。