[論文レビュー] Sparse Linear Dynamical System with Its Application in Multivariate Clinical Time Series

Zitao Liu, Miloš Hauskrecht|arXiv (Cornell University)|Nov 27, 2013

Machine Learning in Healthcare参考文献 24被引用数 4

ひとこと要約

本稿では、標準的な線形動的システム（LDS）の遷移行列にℓ₁正則化を適用することでスパarsityを誘導し、過学習を軽減するとともに、多次元臨床時系列データにおける予測性能を向上させるスパース線形動的システム（SLDS）を提案する。MAPフレームワークと一般化勾配降下法およびEM最適化を用いることで、さまざまな隠れ状態数において、通常のLDSに比べ顕著に低い予測誤差を達成する。

ABSTRACT

Linear Dynamical System (LDS) is an elegant mathematical framework for modeling and learning multivariate time series. However, in general, it is difficult to set the dimension of its hidden state space. A small number of hidden states may not be able to model the complexities of a time series, while a large number of hidden states can lead to overfitting. In this paper, we study methods that impose an $\ell_1$ regularization on the transition matrix of an LDS model to alleviate the problem of choosing the optimal number of hidden states. We incorporate a generalized gradient descent method into the Maximum a Posteriori (MAP) framework and use Expectation Maximization (EM) to iteratively achieve sparsity on the transition matrix of an LDS model. We show that our Sparse Linear Dynamical System (SLDS) improves the predictive performance when compared to ordinary LDS on a multivariate clinical time series dataset.

研究の動機と目的

• 線形動的システム（LDS）における隠れ状態数の最適選択という課題に取り組むこと。これは、しばしば過学習や過小適合を引き起こす。
• より構造的でスパースな遷移行列を学習することで、小規模で複雑な多次元臨床時系列データセットにおける予測性能を向上させること。
• 隠れ状態次元の事前知識に依存せずに、LDSの遷移行列におけるスパarsityを促進することで、モデルの複雑さを自動的に調整する手法を開発すること。
• 特に、縦断的観察が希な臨床環境において、訓練データが限られた状況でのLDSモデルの過学習を軽減すること。

提案手法

• LDSモデルの遷移行列Aにℓ₁正則化を適用し、スパarsityを促進し、モデルの複雑さを低減する。
• Laplace事前分布を遷移行列パラメータに適用することで、スパarsityを誘導する最大事後確率（MAP）推定フレームワークを用いる。
• EMアルゴリズム内での一般化勾配降下法を用いて、繰り返しスパースパラメータを最適化する。
• 期待値最大化（EM）を用いて、モデルパラメータと隠れ状態を同時に推定し、正則化によってスパarsityを強制する。
• システムのダイナミクスをガウスノイズを伴う線形状態遷移でモデル化し、観測値を隠れ状態の線形結合として扱う。
• スパarsity制約下でデータから遷移行列と観測行列を学習する確率的定式化を採用する。

実験結果

リサーチクエスチョン

• RQ1 LDSの遷移行列にℓ₁正則化を適用することで、多次元臨床時系列データの予測性能が向上するか？
• RQ2 隠れ状態数が最適に選ばれていない場合に、提案されたSLDSモデルは通常のLDSに比べ過学習を軽減できるか？
• RQ3 限られた訓練データにおいて、スパースな遷移構造を学習することで、SLDSモデルはより良い一般化性能を達成できるか？
• RQ4 異なる隠れ状態数において、SLDSの性能は通常のLDSと比べてどのように変化するか？

主な発見

• SLDSは、テストした全隠れ状態数において、通常のLDSを一貫して上回り、臨床時系列予測における平均絶対誤差（AMAE）が低かった。
• 50件の訓練例では、5つの隠れ状態を用いたSLDSのAMAEは0.5684であったのに対し、通常のLDSは0.6667であり、相対的に14.7%の改善が得られた。
• 100件の訓練例では、5つの隠れ状態を用いたSLDSのAMAEは0.6379であったのに対し、通常のLDSは0.6406であった。これは、より多くのデータでも安定性を示している。
• 隠れ状態数が最適値を超えて増加しても、SLDSの誤差はゆっくりと悪化する傾向にあり、過学習に対してより高い耐性があることが示された。
• 通常のLDSは5つ以上の隠れ状態を越えると著しく性能が低下し、15状態ではAMAEが1.2993にまで上昇した。これは、過パrameter化に極めて敏感であることを示している。
• 結果から、遷移行列のスパarsityが、低データ量の臨床的状況における潜在的システムダイナミクスを効果的に捉え、一般化性能の向上に寄与することが明らかになった。