[論文レビュー] Properties of the Stochastic Approximation EM Algorithm with Mini-batch Sampling

Tabea Rebafka, Estelle Kuhn+1 more|arXiv (Cornell University)|Jul 22, 2019

Markov Chains and Monte Carlo Methods参考文献 19被引用数 1

ひとこと要約

本稿では、大規模な潜在変数モデル向けに、部分サンプルデータを用いた確率的近似により収束を高速化する、MCMC-SAEMアルゴリズムのミニバッチ版を提案する。指数型分布族においては確実収束を証明し、ミニバッチサンプリングが初期段階の収束を顕著に高速化することを示すと同時に、バッチサイズと漸近的分散のトレードオフを定量的に評価する。

ABSTRACT

To deal with very large datasets a mini-batch version of the Monte Carlo Markov Chain Stochastic Approximation Expectation-Maximization algorithm for general latent variable models is proposed. For exponential models the algorithm is shown to be convergent under classicalconditions as the number of iterations increases. Numerical experiments illustrate the performance of the mini-batch algorithm in various models.In particular, we highlight that mini-batch sampling results in an important speed-up of the convergence of the sequence of estimators generated by the algorithm. Moreover, insights on the effect of the mini-batch size on the limit distribution are presented. Finally, we illustrate how to use mini-batch sampling in practice to improve results when a constraint on the computing time is given.

研究の動機と目的

• 非常に大きなデータセットにおける古典的EMおよびMCMC-SAEMアルゴリズムの計算ボトルネックを解消するために、ミニバッチサンプリング戦略を導入する。
• 各イテレーションでデータと潜在変数を部分的にサンプリングすることで、推定精度を損なわずに計算効率を向上させる。
• ミニバッチサイズがパラメータ推定の収束速度および漸近的分散に与える影響を調査する。
• 固定計算時間制約下でのミニバッチサンプリングの使用法に関する実用的ガイドラインを提供する。
• 計算時間制限下では、特にMステップの計算コストが高い場合に、ミニバッチサンプリングがフルバッチ法を上回る推定精度を達成できることを示す。

提案手法

• 各イテレーションで潜在変数とそれに関連するデータのサブセットをサンプリングするMCMC-SAEMのミニバッチ版を提案する。
• 選択されたミニバッチの潜在変数のみをシミュレートするために、メトロポリス・ハスティングスを組み合わせたギブス・スキャンMCMCスキームを用いる。
• ミニバッチデータのみを用いて十分統計量を更新するための確率的近似を適用し、1イテレーションあたりの計算コストを低減する。
• 元の手法のエルゴディシティおよび収束性の性質を保つように、アルゴリズムが有効なMCMC-SAEMのままとなるように保証する。
• 一貫性および確実収束を維持するため、確率的近似に減少するステップサイズを用いる。
• 指数型分布族モデル（スチュアティック・ブロックモデルやフレイルティ・モデルを含む）における数値実験を通じて、アルゴリズムの挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族モデルの標準的条件下で、ミニバッチMCMC-SAEMアルゴリズムは確実に収束するか？
• RQ2 ミニバッチサイズは、初期段階のパラメータ推定の収束速度にどのように影響するか？
• RQ3 ミニバッチの割合と最終推定値の漸近的分散との間にはどのような関係があるか？
• RQ4 固定計算時間制約下で、ミニバッチサンプリングはバッチ法と比較して推定精度を向上させることができるか？
• RQ5 特に依存構造が複雑なモデルにおいて、1イテレーションあたりの実際の計算時間はミニバッチサイズにどのように依存するか？

主な発見

• 古典的条件の下で指数型分布族モデルに対して、ミニバッチMCMC-SAEMアルゴリズムが真のパラメータ値に確実に収束することが証明された。
• 数値実験の結果、フルバッチ版と比較して、アルゴリズムの初期段階における収束が顕著に高速化されることが示された。
• 推定値の漸近的分散はミニバッチサイズに反比例し、理論的限界分散は V₁(2−α)/α であることが判明した。ここで α はミニバッチの割合を表す。
• パラメータ推定値の実験的標本分散が、予測関数 α ↦ v₁(2−α)/α に非常に良く一致しており、漸近的正規性の仮説を支持する。
• スチュアティック・ブロックモデルのようなモデルでは、更新ステップで使用されるデータの割合がミニバッチサイズと一致しない（依存構造のため）、計算時間の非線形的スケーリングが生じる。
• 固定計算時間制約下では、ミニバッチサンプリングとより大きなサンプルサイズを組み合わせることで、特にMステップの計算コストが高い場合に、標準的なバッチ法を上回るより高精度な推定が達成できる。