[논문 리뷰] Unsupervised Representation Learning for Time Series with Temporal Neighborhood Coding

Sana Tonekaboni, Danny Eytan외 1명|arXiv (Cornell University)|2021. 06. 01.

Time Series Analysis and Forecasting참고 문헌 40인용 수 104

한 줄 요약

Temporal Neighborhood Coding (TNC)을 소개하는 자기지도 프레임워크로, PU 가중 손실을 사용해 이웃 창과 비 이웃 창을 비교하여 비정상적(non-stationary) 다변량 시계열의 일반화 가능한 표현을 학습합니다.

ABSTRACT

Time series are often complex and rich in information but sparsely labeled and therefore challenging to model. In this paper, we propose a self-supervised framework for learning generalizable representations for non-stationary time series. Our approach, called Temporal Neighborhood Coding (TNC), takes advantage of the local smoothness of a signal's generative process to define neighborhoods in time with stationary properties. Using a debiased contrastive objective, our framework learns time series representations by ensuring that in the encoding space, the distribution of signals from within a neighborhood is distinguishable from the distribution of non-neighboring signals. Our motivation stems from the medical field, where the ability to model the dynamic nature of time series data is especially valuable for identifying, tracking, and predicting the underlying patients' latent states in settings where labeling data is practically impossible. We compare our method to recently developed unsupervised representation learning approaches and demonstrate superior performance on clustering and classification tasks for multiple datasets.

연구 동기 및 목표

• 복잡하고 표본 라벨이 적은 시계열(특히 의료 분야)의 비지도 표현 학습에 대한 동기 부여.
• 정적 특성을 가지는 시간적 이웃을 정의하여 비정상적 동적을 포착.
• 음수 샘플의 편향을 처리하기 위한 PU-학습 기반 가중치를 적용한 편향 제거 contrasted objective 개발.
• TNC 표현이 작업 및 데이터셋 간에 일반화 가능하고 전이 가능하다는 점을 입증.

제안 방법

• 시계열을 X in R^{D x T}로 표현하고 길이 delta의 윈도우 W_t를 정의한다.
• 중심점이 t* ~ N(t, eta * delta)인 윈도우를 포함하는 시간적 이웃 N_t를 정의하고 Augmented Dickey-Fuller 테스트를 통해 eta를 추정한다.
• 인코더 Enc가 W_t를 Z_t로 매핑하고 판별기 D(Z_t, Z)가 두 표현이 같은 이웃에서 왔는지 판단하도록 한다.
• 비편향 대조 손실로 훈련하여 이웃과 가까워지도록 Z_t를 끌어당기고 비이웃으로부터 멀어지게 하며 비이웃에는 PU 가중치 w_t를 적용한다.
• 비샘플링 편향을 처리하기 위해 비이웃을 긍정 가중치를 가진 라벨 없는 샘플로 간주하고 양성+음성 조합(PU 학습)을 적용한다.
• 프레임워크는 인코더-아키텍처에 얽매이지 않으며 간단한 RNN 또는 CNN 기반 인코더를 사용할 수 있고 판별기는 경량 이진 분류기이다.

실험 결과

연구 질문

• RQ1 Temporal Neighborhood Coding이 비정상적 시계열에서 시간적으로 근접한 윈도우와 먼 윈도우를 구분하는 표현을 학습할 수 있는가?
• RQ2 TNC 표현이 잠재 상태에 따라 클러스터링되며 다수의 데이터셋에서 클러스터링 및 분류와 같은 다운스트림 작업을 지원하는가?
• RQ3 클러스터링 품질 및 분류 성능 측면에서 TNC가 PU 가중치를 가진 CPC 및 Triplet-Loss와 비교하여 어떠한가?
• RQ4 경계 정보를 통해 윈도우별로 이웃의 폭을 자동으로 조정하는 방식(ADF를 이용한 상태 변화 균형)이 가능한가?

주요 결과

• TNC는 시뮬레이션, ECG 파형 및 HAR 데이터 세트에서 CPC, Triplet-Loss 및 K-means 기반 기준보다 더 우수한 클러스터링 품질(실루엣 점수 높고 Davies-Bouldin 지수 낮음)을 보인다.
• TNC는 여러 데이터 세트에서 CPC 및 Triplet-Loss에 비해 AUPRC 및 정확도에서 상당히 높은 성능으로 지도 학습 모델에 근접한 분류 성능을 달성한다.
• TNC 표현은 상태 전이에서 변화하는 명확한 궤적을 드러내며 잠재 공간에서 비정상적 동적을 포착한다.
• ADF를 통해 추정된 시간적 이웃은 정보와 상태 변화의 균형을 맞추는 윈도우별 이웃 폭의 강건한 조정을 가능하게 한다.