[論文レビュー] Efficient data augmentation techniques for Gaussian state space models

Linda S. L. Tan|arXiv (Cornell University)|Dec 24, 2017

Bayesian Methods and Mixture Models参考文献 25被引用数 4

ひとこと要約

本稿では、潜在変数の線形変換を用いて2つの調整パラメータ（スケーリングとリセンター）を導入することで、ガウス型状態空間モデルにおけるEMアルゴリズムの収束を加速するデータ拡張スキームを提案する。欠損情報の最小化によって導かれる最適パラメータにより、平均のみが未知の場合に即時収束が達成可能であり、ギブスサンプリングおよび変分ベイズへの拡張も可能である。

ABSTRACT

We propose a data augmentation scheme for improving the rate of convergence of the EM algorithm in estimating Gaussian state space models. The scheme is based on a linear transformation of the latent states, and two working parameters are introduced for simultaneous rescaling and re-centering. A variable portion of the mean and scale are thus being moved into the missing data. We derive optimal values of the working parameters (which maximize the speed of the EM algorithm) by minimizing the fraction of missing information. We also study the large sample properties of the working parameters and their dependence on the autocorrelation and signal-to-noise ratio. We show that instant convergence is achievable when the mean is the only unknown parameter and this result is extended to Gibbs samplers and variational Bayes algorithms.

研究の動機と目的

• ガウス型状態空間モデルにおけるEMアルゴリズムの収束速度の向上を図ること。
• 潜在変数を線形変換によって再パrameter化するデータ拡張スキームの開発。
• 欠損情報の割合を最小化する最適な作業パラメータの導出。
• 自己相関およびSNR（信号対雑音比）に関連する、作業パラメータの大標本挙動の分析。
• 収束結果をギブスサンプリングおよび変分ベイズアルゴリズムへと拡張すること。

提案手法

• 潜在変数の線形変換を導入し、スケーリングとリセンターの2つの作業パラメータを含める。
• 変換により、平均とスケールの一部を欠損データ成分に再配分する。
• EMアルゴリズムにおける欠損情報の割合を最小化することで、作業パラメータを最適化する。
• 大標本漸近論的条件下での最適パラメータの解析的表現を導出する。
• 最適パラメータが自己相関や信号対雑音比などのモデル特性にどのように依存するかを分析する。
• 同じ拡張構造を活用することで、ギブスサンプリングおよび変分ベイズへのフレームワークの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 ガウス型状態空間モデルにおけるEMアルゴリズムの収束速度を最大にする潜在変数の線形変換は何か？
• RQ2 スケーリングとリセンターの最適作業パラメータは、自己相関や信号対雑音比などのモデルパラメータにどのように依存するか？
• RQ3 どのような条件下で、このデータ拡張スキームを用いてEMアルゴリズムが即時収束を達成できるか？
• RQ4 提案された拡張フレームワークは、ギブスサンプリングおよび変分ベイズアルゴリズムへと拡張可能か？
• RQ5 欠損情報の割合と収束速度の間には、理論的にどのような関係があるか？

主な発見

• 欠損情報の割合を最小化する最適な作業パラメータが存在し、これによりEMアルゴリズムの収束速度が最大化される。
• 平均のみが未知の場合、状態空間構造に依存せずに、EMアルゴリズムが即時収束を達成可能である。
• 最適パラメータは自己相関および信号対雑音比に依存し、明示的な大標本表現が導出された。
• データ拡張スキームはギブスサンプリングおよび変分ベイズへ自然に拡張可能であり、収束利点を維持する。
• 追加のモデル仮定や複雑なチューニングを必要とせず、収束性が顕著に向上する。