[논문 리뷰] Learning representations for multivariate time series with missing data using Temporal Kernelized Autoencoders

Filippo Maria Bianchi, Lorenzo Livi외 3명|arXiv (Cornell University)|2018. 05. 09.

Time Series Analysis and Forecasting참고 문헌 74인용 수 7

한 줄 요약

이 논문은 빈번한 결측치가 있는 다변량 시계열 데이터를 압축된 고정 길이 표현으로 학습할 수 있도록 하는 순환신경망 기반의 자동에코더인 시간적 커널화된 자동에코더(TKAE)를 제안한다. 이는 결측치를 보간하지 않고도 결측치를 처리할 수 있는 시계열 클러스터 커널(TCK)에 학습된 표현을 정렬함으로써 이루어지며, 주로 분류, 보간, 이상 탐지 작업에서 뛰어난 표현 학습 능력과 최종 성능을 보여준다. 특히 높은 결측률 조건에서도 성능이 뛰어나다.

ABSTRACT

Learning compressed representations of multivariate time series (MTS) facilitates data analysis in the presence of noise and redundant information, and for a large number of variates and time steps. However, classical dimensionality reduction approaches are designed for vectorial data and cannot deal explicitly with missing values. In this work, we propose a novel autoencoder architecture based on recurrent neural networks to generate compressed representations of MTS. The proposed model can process inputs characterized by variable lengths and it is specifically designed to handle missing data. Our autoencoder learns fixed-length vectorial representations, whose pairwise similarities are aligned to a kernel function that operates in input space and that handles missing values. This allows to learn good representations, even in the presence of a significant amount of missing data. To show the effectiveness of the proposed approach, we evaluate the quality of the learned representations in several classification tasks, including those involving medical data, and we compare to other methods for dimensionality reduction. Successively, we design two frameworks based on the proposed architecture: one for imputing missing data and another for one-class classification. Finally, we analyze under what circumstances an autoencoder with recurrent layers can learn better compressed representations of MTS than feed-forward architectures.

연구 동기 및 목표

• 결측치가 무작위로 발생하는 다변량 시계열(MTS) 데이터에서 표준 보간 기법에 기인한 편향을 피하면서 의미 있는 표현을 학습하는 데 도전한다.
• 변동 길이의 MTS 입력을 처리하고 결측치가 존재하는 상황에서도 쌍별 유사도를 유지할 수 있는 딥 러닝 아키텍처를 개발한다.
• 분류, 결측치 보간, 일변도 이상 탐지와 같은 최종 작업에서 강건하고 저차원의 표현을 학습함으로써 성능을 향상시킨다.
• 특히 짧거나 불규칙하게 샘플링된 시계열에 대해 순환 아키텍처가 피드포워드 네트워크보다 효과적인 MTS 표현을 학습하는 데 얼마나 우월한지 조사한다.

제안 방법

• TKAE는 양방향 RNN 인코더와 밀집 비선형층을 사용하여 변동 길이의 MTS를 고정 크기의 잠재 벡터로 압축한다.
• 학습된 표현 간의 내적곱과 시계열 클러스터 커널(TCK) 간의 커널 정렬을 강제로 적용하며, TCK는 보간 없이도 결측치가 있는 MTS 간의 유사도를 계산한다.
• TCK는 랜덤으로 선택된 변수, 시간 세그먼트, 샘플에 대해 훈련된 대각행렬 공분산을 가진 혼합 정규분포 모델(DiagGMMs)의 앙상블을 사용하여 계산되며, 후행 확률을 활용해 커널 행렬을 산출한다.
• 자동에코더는 재구성 손실과 잠재공간이 TCK에 의해 정의된 입력공간의 유사도를 반영하도록 유도하는 커널 정렬 손실을 함께 사용하여 엔드 투 엔드로 훈련된다.
• 디코더는 스택된 RNN을 사용하여 학습된 잠재 표현에서 원본 MTS를 재구성하며, 자동에코딩 및 보간 작업에 활용할 수 있다.
• 학습된 표현과 TCK가 결측치를 처리할 수 있는 능력을 활용하여, 결측치 보간 및 일변도 분류 작업을 지원하도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 표준 보간 방법에 기인한 편향을 피하면서도, 결측치가 있는 다변량 시계열 데이터에 대해 의미 있는 저차원 표현을 학습할 수 있는 딥 오토에코더 아키텍처가 존재하는가?
• RQ2 결측치를 처리할 수 있는 TCK와 학습된 표현 간의 커널 정렬이, 최종 작업에서 표현의 품질을 향상시키는가?
• RQ3 변동 길이와 결측치가 존재하는 MTS 표현 학습에서 RNN 기반 오토에코더가 피드포워드 아키텍처보다 성능이 뛰어나게 되는가?
• RQ4 어떤 상황에서 RNN 기반 아키텍처가 MTS의 시간적 의존성을 더 잘 포착하는가?
• RQ5 제안된 TKAE 프레임워크는 결측치 보간 및 일변도 분류 작업에 효과적으로 적용될 수 있는가?

주요 결과

• TKAE는 최대 50%의 결측률 조건에서도 다변량 시계열 분류 작업에서 최신 기술 수준의 성능을 달성하며, 보간 기반 방법들을 능가한다.
• TCK와의 커널 정렬은 표현 품질을 크게 향상시키며, 높은 분류 정확도와 입력공간 유사도의 우수한 유지 정도로 이를 입증한다.
• 주기성의 변동성이 크거나 짧은, 또는 불규칙하게 샘플링된 MTS에 대해 RNN 기반 인코더는 피드포워드 아키텍처보다 일관되게 뛰어난 표현 학습 성능을 보인다.
• 명백한 시간 패턴이 없는 매우 긴 MTS에서는 TKAE의 RNN 레이어를 밀집층으로 대체할 경우 성능이 향상되며, 이는 아키텍처의 적응 가능성임을 시사한다.
• TKAE 프레임워크는 효과적인 일변도 분류 및 결측치 보간을 가능하게 하여, 표현 학습을 넘어서는 다용도성을 입증한다.
• 실증 분석을 통해 TCK 커널이 완전히 무작위로 결측치가 발생한 MTS 간의 의미 있는 유사도를 효과적으로 포착함을 확인하였다.