[論文レビュー] Clustering-Enhanced Stochastic Gradient MCMC for Hidden Markov Models with Rare States.

Rihui Ou, Alexander L. Young+1 more|arXiv (Cornell University)|Oct 31, 2018

Markov Chains and Monte Carlo Methods被引用数 2

ひとこと要約

本稿では、希少な隠れ状態が存在する状況における推論と予測を向上させるために、クラスタリングを組み込んだ確率的勾配MCMC手法を、隠れマルコフモデルに提案する。予備のクラスタリングにより希少なクラスタを過剰サンプリングすることで、勾配推定の分散を低減し、合成データおよび実世界のデータの両方において、発生確率パラメータの推定精度と希少事象の検出精度が著しく向上する。

ABSTRACT

MCMC algorithms for hidden Markov models, which often rely on the forward-backward sampler, suffer with large sample size due to the temporal dependence inherent in the data. Recently, a number of approaches have been developed for posterior inference which make use of the mixing of the hidden Markov process to approximate the full posterior by using small chunks of the data. However, in the presence of imbalanced data resulting from rare latent states, the proposed minibatch estimates will often exclude rare state data resulting in poor inference of the associated emission parameters and inaccurate prediction or detection of rare events. Here, we propose to use a preliminary clustering to over-sample the rare clusters and reduce variance in gradient estimation within Stochastic Gradient MCMC. We demonstrate very substantial gains in predictive and inferential accuracy on real and synthetic examples.

研究の動機と目的

• データの不均衡に起因する隠れマルコフモデルにおける希少な隠れ状態の推論性能の低さという課題に対処すること。
• ミニバッチMCMC手法が訓練中にしばしば希少状態のデータを無視するという制限を克服すること。
• 不均衡なHMMにおける発生確率パラメータの推定精度と希少事象検出精度を向上させること。
• より安定的で信頼性の高い後方分布推論を実現するため、確率的勾配推定の分散を低減すること。
• クラスタリングに基づく過剰サンプリングが、後方分布近似の質を向上させることの有効性を実証すること。

提案手法

• 予備のクラスタリング手順を適用し、データ内の希少な隠れ状態を特定して過剰サンプリングする。
• クラスタリングされたデータを用いて、より代表的なミニバッチを構築する。
• 過剰サンプリングされたクラスタを確率的勾配MCMCフレームワークに統合し、勾配推定を安定化する。
• 隠れマルコフ過程の混合性を利用し、小さなデータ断片を用いて完全な後方分布を近似する。
• クラスタリングと確率的勾配MCMCを統合し、収束性の向上とパラメータ推定における分散低減を実現する。
• 希少状態の遷移と発生が勾配更新に適切に反映されるようにする。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングに基づく過剰サンプリングは、HMMにおける希少な隠れ状態の発生確率パラメータ推定を改善できるか？
• RQ2 希少クラスタの過剰サンプリングは、MCMC推論における確率的勾配推定の分散にどのように影響するか？
• RQ3 提案手法は、標準的なミニバッチMCMCと比較して、希少事象の予測精度をどの程度向上させるか？
• RQ4 この手法は、後方分布サンプリングにおける収束性および混合性の性質を維持または向上させるか？
• RQ5 本手法は、状態分布に不均衡が強い実世界のデータセットでも効果を発揮するか？

主な発見

• 提案手法は、希少状態を含む合成データおよび実世界のデータの両方において、予測精度および推論精度が著しく向上した。
• クラスタリングによる希少クラスタの過剰サンプリングは、確率的勾配MCMCにおけるより安定的かつ分散の小さい勾配推定を実現した。
• 本手法は、標準的なミニバッチMCMC手法がしばしば見逃す希少状態の遷移および発生パターンを効果的に捉えた。
• 特に状態の不均衡が顕著なデータセットでは、希少事象の検出精度が顕著に向上した。
• クラスタリング強化型アプローチは、低頻度状態の発生確率パラメータ推定において、ベースラインの確率的勾配MCMCを上回った。
• 実験的結果から、本手法がHMMの後方分布推論におけるデータ不均衡に起因するバイアスを緩和することが確認された。