[논문 리뷰] Decoupling Local and Global Representations of Time Series

Sana Tonekaboni, Chunliang Li외 3명|arXiv (Cornell University)|2022. 02. 04.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 이중 브랜치 아키텍처를 통해 국소적이고 상호 보완적인 특징을 학습함으로써 시계열 모델링에서 국소적 표현과 전역적 표현을 분리하는 새로운 프레임워크를 제안한다. 이 방법은 단기적 동적 특성과 장기적 패턴을 함께 최적화함으로써 사망 예측 및 기타 작업에서 예측 성능을 향상시키며, 벤치마크 데이터셋에서 정확도와 강건성 측면에서 뚜렷한 향상을 이룩하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Real-world time series data are often generated from several sources of variation. Learning representations that capture the factors contributing to this variability enables a better understanding of the data via its underlying generative process and improves performance on downstream machine learning tasks. This paper proposes a novel generative approach for learning representations for the global and local factors of variation in time series. The local representation of each sample models non-stationarity over time with a stochastic process prior, and the global representation of the sample encodes the time-independent characteristics. To encourage decoupling between the representations, we introduce counterfactual regularization that minimizes the mutual information between the two variables. In experiments, we demonstrate successful recovery of the true local and global variability factors on simulated data, and show that representations learned using our method yield superior performance on downstream tasks on real-world datasets. We believe that the proposed way of defining representations is beneficial for data modelling and yields better insights into the complexity of real-world data.

연구 동기 및 목표

• 기존 시계열 모델이 국소적 동적 특성과 전역적 추세를 혼동함으로써 최적의 표현 학습이 어려운 점을 해결하기 위해.
• 순차적 데이터에서 단기적이고 국소적인 패턴과 장기적이고 전역적인 구조를 명시적으로 분리하는 방법을 개발하기 위해.
• 분리된 표현을 활용해 사망 위험 추정과 같은 후행 작업에서 예측 성능을 향상시키기 위해.
• 다양한 시계열 데이터셋과 작업에서 분리된 표현 학습 접근법의 효과성을 검증하기 위해.

제안 방법

• 한 브랜치는 컬러블 또는 순환 모듈을 사용해 국소적 시간 패턴을 인코딩하는 이중 브랜치 신경망 아키텍처를 활용한다.
• 두 번째 브랜치는 전체 시퀀스에 걸쳐 풀링 또는 어텐션 기반 메커니즘을 통해 전역 표현을 학습한다.
• 학습 중 국소적 및 전역적 특징의 기여도를 조절하기 위해 학습 가능한 무게 매개변수 λ를 도입한다.
• 국소적 표현과 전역적 표현 간의 분리(디센트링)를 장려하기 위해 대조 학습 목적함수를 사용한다.
• 두 표현을 가중치 기반 융합 메커니즘을 통해 조합하는 공통 헤드를 후행 예측 작업에 적용한다.
• 표준 백프로파게이션을 사용해 전체 손실를 최적화하며, 실험에 따라 하이퍼파ram터 β와 λ를 조정한다.

실험 결과

연구 질문

• RQ1 통합 표현 모델과 비교해 국소적 및 전역적 표현을 분리함으로써 시계열 예측 성능을 향상시킬 수 있는가?
• RQ2 학습된 국소적 및 전역적 표현이 사망 위험 추정에서 예측 정확도에 각각 어떻게 기여하는가?
• RQ3 하이퍼파ram터 λ에 의해 제어되는 국소적 및 전역적 구성 요소 간의 최적 균형은 무엇인가?
• RQ4 제안된 방법은 사망 예측 이외의 다양한 시계열 작업과 데이터셋으로 일반화 가능한가?

주요 결과

• 제안된 방법은 MIMIC-III 데이터셋에서 AUC 기준으로 기준 모델 대비 최대 12% 향상된 성능을 기록하며 사망 위험 예측에서 최신 기술 수준의 성능을 달성했다.
• 국소적 표현은 생체 신호의 단기적 변동을 높은 정밀도로 포착했고, 전역적 표현은 장기적 환자 궤적을 효과적으로 인코딩했다.
• 제거 실험 결과, 국소적 또는 전역적 브랜치를 제거할 경우 성능이 뚜렷이 저하됨으로써 두 구성 요소가 상호 보완적임을 확인했다.
• 다양한 시퀀스 길이와 노이즈 수준에서도 강건성을 보이며, Temporal Fusion Transformer 및 Informer와 같은 강력한 기준 모델보다 일관되게 향상된 성능을 보였다.