[논문 리뷰] SOM-VAE: Interpretable Discrete Representation Learning on Time Series

Vincent Fortuin, Matthias Hüser외 3명|arXiv (Cornell University)|2018. 06. 06.

Time Series Analysis and Forecasting참고 문헌 39인용 수 60

한 줄 요약

이 논문은 자기조직화 지도(SOM)와 변동형 오토인코더(VAE), 그리고 마르코프 모델을 결합하여 시간 시리즈의 해석 가능한 이산 표현을 학습하는 새로운 프레임워크인 SOM-VAE를 제안한다. 이 프레임워크는 미분 가능한 이산 잠재 공간과 확률적 시간 모델링을 통해 부드럽고 군집 최적화, 의미 있는 표현을 가능하게 하며, 합성 및 실세계 시간 시리즈(예: eICU 데이터 포함)에서 기존 방법들을 능가한다.

ABSTRACT

High-dimensional time series are common in many domains. Since human cognition is not optimized to work well in high-dimensional spaces, these areas could benefit from interpretable low-dimensional representations. However, most representation learning algorithms for time series data are difficult to interpret. This is due to non-intuitive mappings from data features to salient properties of the representation and non-smoothness over time. To address this problem, we propose a new representation learning framework building on ideas from interpretable discrete dimensionality reduction and deep generative modeling. This framework allows us to learn discrete representations of time series, which give rise to smooth and interpretable embeddings with superior clustering performance. We introduce a new way to overcome the non-differentiability in discrete representation learning and present a gradient-based version of the traditional self-organizing map algorithm that is more performant than the original. Furthermore, to allow for a probabilistic interpretation of our method, we integrate a Markov model in the representation space. This model uncovers the temporal transition structure, improves clustering performance even further and provides additional explanatory insights as well as a natural representation of uncertainty. We evaluate our model in terms of clustering performance and interpretability on static (Fashion-)MNIST data, a time series of linearly interpolated (Fashion-)MNIST images, a chaotic Lorenz attractor system with two macro states, as well as on a challenging real world medical time series application on the eICU data set. Our learned representations compare favorably with competitor methods and facilitate downstream tasks on the real world data.

연구 동기 및 목표

• 기존 시간 시리즈 표현 학습 방법에서의 해석 가능성 부족 문제를 해결하기 위해.
• 인간 이해에 직관적인 부드럽고 이산적이며 의미 있는 표현을 가능하게 하기 위해.
• 자기조직화 지도의 기울기 기반 변형을 통해 이산 표현 학습의 비가역성 문제를 해결하기 위해.
• 군집화 성능 향상과 불확실성 추정을 위해 잠재 공간 내 시간적 의존성을 마르코프 모델로 모델링하기 위해.
• 다양한 벤치마크(합성 시간 시리즈 및 실세계 의료 데이터(eICU) 포함)에서 방법의 성능 평가를 통해 우수한 성능을 입증하기 위해.

제안 방법

• 이산 할당의 비가역성 문제를 해결하기 위해 경사 하강법을 통한 엔드 투 엔드 학습이 가능한 자기조직화 지도(SOM)의 미분 가능 버전을 도입한다.
• 시간 시리즈 데이터의 압축되고 분리된 표현을 학습하기 위해 SOM을 변동형 오토인코더(VAE)와 결합한다.
• 잠재 공간 내 시간 전이를 모델링하고 군집 성능을 향상시키기 위해 이산 표현 공간에 마르코프 모델을 통합한다.
• 불확실성 정량화와 설명 가능성 가능성을 보장하기 위해 확률적 잠재 변수 프레임워크를 사용한다.
• 이산 잠재 변수에 대한 재생산 기법을 적용하여 이산 샘플링 과정을 통해 역전파가 가능하게 한다.
• 재구성 오차, KL 발산, 그리고 마르코프 모델의 전이 가능성 항을 포함한 변동형 하한을 최적화하여 모델을 학습한다.

실험 결과

연구 질문

• RQ1 미분 가능한 이산 표현 학습 프레임워크가 시간 시리즈 표현 학습에서 해석 가능성과 군집 성능을 향상시킬 수 있는가?
• RQ2 이산 표현 공간에 마르코프 모델을 통합하면 시간적 일관성과 군집 정확도가 어떻게 향상되는가?
• RQ3 제안된 SOM-VAE가 합성 및 실세계 시간 시리즈 벤치마크에서 기존 방법들을 얼마나 뛰어나게 성능을 높이는가?
• RQ4 학습된 표현이 복잡한 시간 시리즈(예: 혼돈 시스템 또는 임상 ICU 데이터)에서 의미 있고 인간이 이해할 수 있는 패턴을 제공할 수 있는가?
• RQ5 특히 낮은 데이터 환경에서 노이즈와 구조적 복잡성에 대해 이 방법은 얼마나 강인한가?

주요 결과

• SOM-VAE는 정적(Fashion-)MNIST 및 보간된(Fashion-)MNIST 이미지의 시간 시리즈에서 최신 기준 군집 성능를 달성한다.
• 이 방법은 혼돈 시스템인 로렌츠 애트랙터에서의 기저 거시 상태를 반영하는 부드럽고 해석 가능한 이산 표현을 학습한다.
• 실세계 eICU 데이터셋에서 SOM-VAE는 개선된 군집화 성능과 의미 있는 환자 하위군 발견을 통해 효과적인 후속 분석을 가능하게 한다.
• 마르코프 모델의 통합은 잠재 공간 내 시간적 의존성을 모델링함으로써 군집 성능 향상에 크게 기여한다.
• 미분 가능한 SOM 변형은 원본 비가역적 SOM 대비 안정적인 학습과 뛰어난 최적화를 가능하게 한다.
• 학습된 표현은 이산 상태 간 전이 확률을 통해 자연스러운 불확실성 추정과 설명 가능성을 제공한다.