[논문 리뷰] Unsupervised Scalable Representation Learning for Multivariate Time Series

Jean-Yves Franceschi, Aymeric Dieuleveut외 1명|arXiv (Cornell University)|2019. 01. 30.

Time Series Analysis and Forecasting참고 문헌 40인용 수 187

한 줄 요약

다변량 시계열을 위한 보편 임베딩을 학습하기 위해 인과 확장된 CNN 인코더를 사용하고 시간 기반 트리플렛 손실과 음수 샘플링으로 학습시키는 확장 가능한 비지도 방법을 정의한다.

ABSTRACT

Time series constitute a challenging data type for machine learning algorithms, due to their highly variable lengths and sparse labeling in practice. In this paper, we tackle this challenge by proposing an unsupervised method to learn universal embeddings of time series. Unlike previous works, it is scalable with respect to their length and we demonstrate the quality, transferability and practicability of the learned representations with thorough experiments and comparisons. To this end, we combine an encoder based on causal dilated convolutions with a novel triplet loss employing time-based negative sampling, obtaining general-purpose representations for variable length and multivariate time series.

연구 동기 및 목표

• 가변 길이를 처리하고 확장 가능한 다변량 시계열용 일반 목적의 비지도 표현 학습 방법을 개발한다.
• 감독 없이 가변 길이 입력에서 고정 길이의 임베딩을 학습한다.
• 데이터셋과 과제 전반에 걸친 표현의 보편성 및 전이 가능성을 입증한다.
• 장기간 시계열 및 희소한 라벨링 시나리오를 포함한 분류 및 회귀에의 적용 가능성을 보여준다.

제안 방법

• 가변 길이 시계열을 고정 길이 임베딩으로 매핑하기 위해 인과적 확장 합성 곱의 스택을 기반으로 하는 인코더를 사용한다.
• 레이블 없이 부분 시계열 간의 유사성을 학습하기 위해 word2vec에서 영감을 받은 음수 샘플링이 포함된 시간 기반 트리플렛 손실을 도입한다.
• 전역 최대풀링과 선형 투영을 통해 고정 길이 출력을 갖는 디코더 없는 인코더를 학습한다.
• 전이 가능한 표현을 생성하기 위해 다양한 부분 시계열 길이에 대해 학습하여 변화하는 길이의 입력을 허용한다.
• 메모리 절감을 위해 항(term) 역전파에 집중하는 O(K * c(f)) 복잡도의 효율적인 학습 절차를 제공한다.
• 임베딩 위에 간단한 분류기(SVM)를 학습시키고 전이 실험을 수행하여 표현을 평가한다.

실험 결과

연구 질문

• RQ1 확장 가능한 인코더의 비지도 학습이 다변량 시계열에 대한 보편적이고 전이 가능한 표현을 생성할 수 있는가?
• RQ2 음수 샘플링이 포함된 시간 기반 트리플렛 손실이 레이블 없이 유사한 부분시계열과 비유사한 부분시계열의 효과적인 구분을 가능하게 하는가?
• RQ3 가변 길이 시계열로부터 얻은 고정 길이 임베딩이 다양한 데이터셋에서 분류 및 회귀와 같은 하류 과제에 유용한가?
• RQ4 표준 시계열 벤치마크에서 제안된 방법이 다른 비지도 및 지도 접근법과 어떻게 비교되는가?
• RQ5 이 표현들이 길고 다변량의 시계열로 확장되면서도 효율성을 유지할 수 있는가?

주요 결과

• 이 방법은 데이터셋 간에 전이 가능한 고품질 임베딩을 생성한다.
• 다수의 UCR 데이터셋에서 동시대 비지도 방법들보다 우수하고 일부 설정에서 최첨단 지도 방법에 근접한다.
• 이 표현은 희소한 라벨링 학습을 효과적으로 가능하게 하며 라벨이 부족할 때 종종 완전한 지도 학습 기준을 능가한다.
• 학습된 임베딩은 장기간 시계열 회귀와 같은 비분류 작업에도 유용하다.
• 첫 번째 층을 조정하여 다변량 입력을 처리할 수 있으며 UEA 다변량 아카이브에서 경쟁력 있는 성과를 달성한다.
• 실제 장기간의 시계열에서 표현은 추론 시 데이터 크기를 크게 줄이고 예측 성능의 손실은 최소화한다.