[論文レビュー] State Space LSTM Models with Particle MCMC Inference

Xun Zheng, Manzil Zaheer+4 more|arXiv (Cornell University)|Nov 30, 2017

Model Reduction and Neural Networks参考文献 22被引用数 29

ひとこと要約

この論文は、LSTMの表現力と状態空間モデルの確率的解釈可能性を組み合わせたステートスペースLSTM（SSL）モデルを導入する。順方向モンテカルロ（SMC）を用いたパーティクルMCMC推論により、制限的な因子分解仮定を課さずに、潜在状態の結合事後分布から直接サンプリングする。この手法は、従来の因子分解推論手法と比較して、言語モデリングおよびユーザ行動予測タスクにおいて優れた安定性と高い性能を達成する。

ABSTRACT

Long Short-Term Memory (LSTM) is one of the most powerful sequence models. Despite the strong performance, however, it lacks the nice interpretability as in state space models. In this paper, we present a way to combine the best of both worlds by introducing State Space LSTM (SSL) models that generalizes the earlier work \cite{zaheer2017latent} of combining topic models with LSTM. However, unlike \cite{zaheer2017latent}, we do not make any factorization assumptions in our inference algorithm. We present an efficient sampler based on sequential Monte Carlo (SMC) method that draws from the joint posterior directly. Experimental results confirms the superiority and stability of this SMC inference algorithm on a variety of domains.

研究の動機と目的

• 標準LSTMにおける解釈可能性の欠如に対処しつつ、非マルコフ的で複雑なシーケンスをモデル化する能力を維持すること。
• 従来の潜在シーケンスモデルの推論手法における因子分解事後分布近似の制限を克服すること。
• 変分推論の仮定を一切用いずに、潜在状態の完全な結合事後分布からのサンプリングが可能な原理的かつスケーラブルな推論手法を開発すること。
• SMCによる直接的な結合事後分布サンプリングが、多様なシーケンスモデリングタスクにおけるモデルの安定性と性能向上に寄与することを実証すること。

提案手法

• 状態遷移（LSTMでモデル化）と観測生成（確率的発生によりモデル化）を分離するステートスペースLSTM（SSL）モデルを提案する。
• 順方向モンテカルロ（SMC）とパーティクルギブスサンプリングを用いて、潜在状態シーケンスの結合事後分布から直接サンプリングする。
• 変分推論で一般的な制限的な平均場または因子分解仮定を避ける、パーティクルベースの事後分布近似を用いる。
• SMCを用いて確率的EMを実行し、Eステップを完全な事後分布サンプルに置き換えることで、より正確なパrameter推定を可能にする。
• パーティクルパスを活用して、順序データにおける潜在トピック遷移を可視化・解釈する。
• 推論をパーティクル数に線形にスケーリング可能に設計することで、並列化による効率性を実現する。

実験結果

リサーチクエスチョン

• RQ1 LSTMの表現力と状態空間モデルの解釈可能性を統合的なフレームワークで組み合わせることは可能か？
• RQ2 潜在状態の完全な結合事後分布からのサンプリングは、因子分解事後分布近似よりもシーケンスモデリングで優れた性能をもたらすか？
• RQ3 提案手法のSMCベース推論は、多様なデータセットにおける安定性と一般化性能の観点で、従来手法と比較してどのように異なるか？
• RQ4 完全な事後分布サンプリングは、近似推論と比較して、どのような状況で顕著な利点を示すか？

主な発見

• SMCベースの推論手法は、評価されたすべてのデータセットで因子分解推論手法を一貫して上回り、ホールドアウトテストセットでのパープレキシティが低かった。
• Wikipedia言語モデリングタスクでは、SMC手法が250トピックでテストパープレキシティ1942.26を達成し、因子分解手法を大きく上回り、標準LSTMと同等の性能を示した。
• SMC手法はよりスパースな語-トピック行列（非ゼロ要素が少ない）を生成し、一般化性能とモデルの解釈可能性が向上していることを示した。
• ユーザクリック予測データでは、SMC手法が因子分解手法のパープレキシティ2254を1Mユーザーで1447に低下させ、構造の薄いデータでも優れた性能を示した。
• パーティクルパスの可視化から、モデルが時間経過とともに意味的でスパースなトピック遷移に収束していることが確認され、解釈可能性と動的モデリング能力が裏付けられた。
• 構造的でないドメイン（例：ユーザ行動）では、SMCと因子分解推論の性能差が大きく保たれている一方、構造的で大きなデータセットでは差が縮小する傾向にあった。