[논문 리뷰] Sparse Linear Dynamical System with Its Application in Multivariate Clinical Time Series

Zitao Liu, Miloš Hauskrecht|arXiv (Cornell University)|2013. 11. 27.

Machine Learning in Healthcare참고 문헌 24인용 수 4

한 줄 요약

이 논문은 표준 선형 동적 시스템(LDS)의 전이 행렬에 ℓ₁ 정규화를 적용하여 희소성(sparse)을 유도하는 희소 선형 동적 시스템(SLDS)을 제안한다. 이를 통해 과적합을 줄이고 다변량 임상 시간 시리즈에서 예측 성능을 향상시킨다. 최대 사후확률(MAP) 프레임워크와 일반화된 경사하강법, EM 최적화를 사용하여 SLDS는 다양한 은닉 상태 수에서 일반 LDS보다 유의미하게 낮은 예측 오차를 달성한다.

ABSTRACT

Linear Dynamical System (LDS) is an elegant mathematical framework for modeling and learning multivariate time series. However, in general, it is difficult to set the dimension of its hidden state space. A small number of hidden states may not be able to model the complexities of a time series, while a large number of hidden states can lead to overfitting. In this paper, we study methods that impose an $\ell_1$ regularization on the transition matrix of an LDS model to alleviate the problem of choosing the optimal number of hidden states. We incorporate a generalized gradient descent method into the Maximum a Posteriori (MAP) framework and use Expectation Maximization (EM) to iteratively achieve sparsity on the transition matrix of an LDS model. We show that our Sparse Linear Dynamical System (SLDS) improves the predictive performance when compared to ordinary LDS on a multivariate clinical time series dataset.

연구 동기 및 목표

• 선형 동적 시스템(LDS)에서 은닉 상태 수를 최적화 선택하는 데 도전하는 문제를 다루며, 이는 종종 과적합 또는 과소적합을 유도한다.
• 더 구조화되고 희소한 전이 행렬을 학습함으로써 소규모이고 복잡한 다변량 임상 시간 시리즈 데이터셋에서의 예측 성능을 향상시키는 것.
• 은닉 상태 차원에 대한 사전 지식 없이도 전이 행렬의 희소성을 유도함으로써 모델 복잡도를 자동으로 조정하는 방법을 개발하는 것.
• 특히 시간 경과에 따라 관측 횟수가 적은 임상 환경에서 훈련 데이터가 제한적일 경우 LDS 모델의 과적합을 줄이는 것.

제안 방법

• LDS 모델의 전이 행렬 A에 ℓ₁ 정규화를 적용하여 희소성과 모델 복잡도 감소를 유도한다.
• 전이 행렬 매개변수에 라플라스 사전분포를 적용한 최대 사후확률(MAP) 추정 프레임워크를 사용하여 희소성을 유도한다.
• EM 알고리즘 내부에서 일반화된 경사하강법을 활용하여 희소 매개변수를 반복적으로 최적화한다.
• 기대값 최대화(EM)를 통합하여 모델 매개변수와 은닉 상태를 동시 추정하며, 정규화를 통해 희소성을 강제한다.
• 선형 상태 전이와 가우시안 노이즈를 사용하여 시스템 동역학을 모델링하고, 관측값을 은닉 상태의 선형 조합으로 간주한다.
• 희소성 제약 조건 하에 데이터로부터 전이 행렬과 관측 행렬을 학습하는 확률적 공식화를 사용한다.

실험 결과

연구 질문

• RQ1 LDS 전이 행렬에 대한 ℓ₁ 정규화가 다변량 임상 시간 시리즈에서의 예측 성능 향상에 기여하는가?
• RQ2 은닉 상태 수가 최적화되지 않은 경우, 제안된 SLDS 모델이 일반 LDS보다 과적합을 줄이는가?
• RQ3 희소 전이 구조를 학습함으로써 제한된 훈련 데이터에서 SLDS 모델이 더 나은 일반화 성능을 달성할 수 있는가?
• RQ4 일반 LDS와 비교해 볼 때, SLDS의 성능은 다양한 은닉 상태 수에서 어떻게 변화하는가?

주요 결과

• SLDS는 테스트된 모든 은닉 상태 수에서 일반 LDS를 일관되게 능가하며, 임상 시간 시리즈 예측에서 평균 절대 오차(AMAE)가 낮게 나타났다.
• 50개의 훈련 예제로 5개의 은닉 상태를 사용할 경우, SLDS는 AMAE 0.5684를 기록했고, 일반 LDS는 0.6667을 기록하여 상대적 개선률 14.7%를 보였다.
• 100개의 훈련 예제로 5개의 은닉 상태를 사용할 경우, SLDS는 AMAE 0.6379를 기록했고, 일반 LDS는 0.6406을 기록하여 더 많은 데이터에서도 안정성을 입증했다.
• 최적점 초과 시 은닉 상태 수가 증가함에 따라 SLDS의 오차가 서서히 증가하는 경향을 보이며, 과적합에 대한 더 큰 내성성을 나타냈다.
• 일반 LDS의 성능은 5개 이상의 은닉 상태를 초과할 경우 급격히 악화되었으며, 15개 상태에서 AMAE가 1.2993으로 상승하여 과도한 파rameter화에 민감함을 보였다.
• 결과는 전이 행렬의 희소성이 저하된 데이터 환경에서의 일반화 성능 향상에 효과적으로 작용하며, 기저 시스템 역학을 잘 포착함을 시사한다.