[논문 리뷰] Learning Disentangled Representations for Time Series

Yuening Li, Zhengzhang Chen외 5명|arXiv (Cornell University)|2021. 05. 17.

Time Series Analysis and Forecasting참고 문헌 40인용 수 6

한 줄 요약

이 논문은 시간열대표표현학습을 위한 새로운 분리 프레임워크인 DTS를 제안한다. DTS는 개별 잠재 요소와 그룹 수준의 의미적 세그먼트를 분리하여 다중 수준의 분리 표현을 달성한다. 상호정보량 최대화와 강화된 정규화를 통한 ELBO 분해를 도입함으로써 DTS는 KL 소실 문제를 완화하고 해석 가능하며 의미적으로 유의미한 표현을 학습한다. 이는 하류 작업에서 이전 방법들을 능가하며 순차적 패턴의 직관적인 조작을 가능하게 한다.

ABSTRACT

Time-series representation learning is a fundamental task for time-series analysis. While significant progress has been made to achieve accurate representations for downstream applications, the learned representations often lack interpretability and do not expose semantic meanings. Different from previous efforts on the entangled feature space, we aim to extract the semantic-rich temporal correlations in the latent interpretable factorized representation of the data. Motivated by the success of disentangled representation learning in computer vision, we study the possibility of learning semantic-rich time-series representations, which remains unexplored due to three main challenges: 1) sequential data structure introduces complex temporal correlations and makes the latent representations hard to interpret, 2) sequential models suffer from KL vanishing problem, and 3) interpretable semantic concepts for time-series often rely on multiple factors instead of individuals. To bridge the gap, we propose Disentangle Time Series (DTS), a novel disentanglement enhancement framework for sequential data. Specifically, to generate hierarchical semantic concepts as the interpretable and disentangled representation of time-series, DTS introduces multi-level disentanglement strategies by covering both individual latent factors and group semantic segments. We further theoretically show how to alleviate the KL vanishing problem: DTS introduces a mutual information maximization term, while preserving a heavier penalty on the total correlation and the dimension-wise KL to keep the disentanglement property. Experimental results on various real-world benchmark datasets demonstrate that the representations learned by DTS achieve superior performance in downstream applications, with high interpretability of semantic concepts.

연구 동기 및 목표

• 의료와 같은 고위험 도메인에서 기존 시간열 대표표현학습 방법의 해석 가능성 부족 문제를 해결하기 위해.
• 복잡한 시간적 상관관계와 KL 소실 문제 등 시계열 데이터의 분리 표현 학습 과제를 극복하기 위해.
• 계층적인 해석 가능한 표현을 가능하게 하기 위해 개별 요소의 분리와 그룹 수준의 의미적 세그먼트 분리를 동시에 실현하기 위해.
• 재구성 정밀도, 분리도, 정확한 추론을 균형 잡는 학습 목표를 개발하여 KL 소실 문제를 완화하기 위해.
• 비지도 방식으로도 분리된 표현을 학습할 수 있으며, 의미적으로 의미 있고 조작 가능한 특징을 제공할 수 있음을 입증하기 위해.

제안 방법

• DTS는 잠재 공간 내에서 개별 잠재 요소와 그룹 수준의 의미적 세그먼트를 분리하는 다중 수준의 분리 전략을 사용한다.
• 재구성 손실, 분리도 정규화, 추론 정확도를 균형 잡는 증거 하한값(ELBO) 분해를 도입한다.
• KL 소실 문제를 완화하기 위해 상호정보량 최대화 항을 통합하면서 총 상관관계와 차원별 KL 발산에 더 강한 페널티를 적용한다.
• 순차적 의존성을 모델링하기 위해 LSTM 기반 추론 및 생성 네트워크를 사용하는 변분 오토인코더 아키텍처를 사용한다.
• 학습된 요소의 해석 가능성과 분리도를 정성적으로 평가하기 위해 잠재적 이동과 T-SNE 시각화를 사용한다.
• 도메인 불변 및 클래스 불변 분리 양식을 지원하여 도메인 및 클래스 간에 강건한 표현 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡한 시간적 상관관계가 존재하는 시간열 데이터에 대해 분리된 표현을 효과적으로 학습할 수 있는가?
• RQ2 순차적 VAE에서 발생하는 KL 소실 문제는 어떻게 완화할 수 있으며, 이 과정에서 분리도는 유지될 수 있는가?
• RQ3 개별 잠재 요소와 그룹 수준의 의미적 세그먼트를 동시에 분리하여 계층적인 해석 가능성을 달성할 수 있는가?
• RQ4 학습된 표현이 순차적 패턴의 직관적 조작을 어느 정도 지원하는가?
• RQ5 분리된 표현은 분류 및 클러스터링과 같은 하류 작업에서 성능 향상에 기여하는가?

주요 결과

• DTS는 ECG 파형의 변화와 같은 순차적 패턴에 대한 연속적이고 해석 가능한 조작이 가능한 분리된 표현을 성공적으로 학습했다.
• 잠재적 이동 결과는 개별 잠재 변수가 서로 수직인 순차적 추세를 제어하며, [-4, 4] 범위 내에서 매끄러운 전이를 보임을 보여준다.
• T-SNE 시각화 결과 도메인에 의존하는 요소와 클래스에 의존하는 요소는 더 명확히 구분되며, 도메인 및 클래스 불변 요소는 구분되지 않아 효과적인 분리가 이루어졌음을 검증한다.
• 목표 도메인에서 강력한 클러스터링 성능를 달성하여 의미적으로 유사한 시간열 데이터가 분리된 공간에서 더 가까이 맵핑됨을 나타낸다.
• DTS는 하류 작업에서 베이스라인 방법을 능가하며, 학습된 의미적 개념의 높은 해석 가능성과 함께 뛰어난 성능을 보였다.
• 상호정보량 최대화 도입이 분리도를 훼손하지 않으면서도 효과적으로 KL 소실 문제를 완화함을 입증했다.