[논문 리뷰] Temporal Autoencoding Improves Generative Models of Time Series

Chris Häusler, Alex Susemihl외 2명|arXiv (Cornell University)|2013. 09. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 4

한 줄 요약

이 논문은 시간적 자동에코딩(TA)을 제안하며, 과거의 손상된 프레임에서 현재 프레임을 복원하도록 훈련하는 제한된 볼츠만 기계(RBMs)를 사용하여 시계열의 생성 모델 성능을 햖थ한다. 이 방법은 움직임 캡처 데이터에서 재구성 오차를 최대 80% 감소시키며, 다양한 데이터셋, 특히 M3 예측 경쟁에서의 데이터를 포함해, 프레임 보완 및 예측 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Restricted Boltzmann Machines (RBMs) are generative models which can learn useful representations from samples of a dataset in an unsupervised fashion. They have been widely employed as an unsupervised pre-training method in machine learning. RBMs have been modified to model time series in two main ways: The Temporal RBM stacks a number of RBMs laterally and introduces temporal dependencies between the hidden layer units; The Conditional RBM, on the other hand, considers past samples of the dataset as a conditional bias and learns a representation which takes these into account. Here we propose a new training method for both the TRBM and the CRBM, which enforces the dynamic structure of temporal datasets. We do so by treating the temporal models as denoising autoencoders, considering past frames of the dataset as corrupted versions of the present frame and minimizing the reconstruction error of the present data by the model. We call this approach Temporal Autoencoding. This leads to a significant improvement in the performance of both models in a filling-in-frames task across a number of datasets. The error reduction for motion capture data is 56\% for the CRBM and 80\% for the TRBM. Taking the posterior mean prediction instead of single samples further improves the model's estimates, decreasing the error by as much as 91\% for the CRBM on motion capture data. We also trained the model to perform forecasting on a large number of datasets and have found TA pretraining to consistently improve the performance of the forecasts. Furthermore, by looking at the prediction error across time, we can see that this improvement reflects a better representation of the dynamics of the data as opposed to a bias towards reconstructing the observed data on a short time scale.

연구 동기 및 목표

• 제한된 볼츠만 기계(RBMs)에 인과적 역학을 통합하여 시간적 데이터의 생성 모델링을 향상시키기 위해.
• 대조적 경향성 학습이 시간적 역학을 포착하는 데 한계가 있음을 해결하기 위해 감독형 사전학습 단계를 도입하기 위해.
• 재구성 정밀도와 예측 성능을 모두 향상시키는 방법을 개발하기 위해.
• 움직임 캡처와 M3 예측 경쟁에서의 거시경제 시계열을 포함한 다양한 데이터 모odal리티에서 접근 방식을 검증하기 위해.

제안 방법

• 기존의 프레임을 과거의 손상된 버전으로 간주하고, 노이즈 제거 자동에코더 원리에 따라 현재 프레임을 재구성하도록 모델을 훈련한다.
• 시간적 자동에코딩(TA)은 시간적 RBM(TRBMs) 및 조건부 RBM(CRBMs)의 표준 대조적 경향성(CD) 학습 이전의 사전학습 단계로 적용된다.
• 예측된 현재 프레임과 실제 현재 프레임 간의 재구성 오차를 최소화하도록 모델을 훈련하여 학습된 표현에 시간적 인과관계를 강제한다.
• 다수의 샘플에 대한 사후 평균 예측을 사용하여 추정 정확도를 추가로 향상시킨다.
• 무 supervision된 CD 학습과 supervision된 자동에코더 학습을 조합하여 생성 모델링과 역학적 구조 학습의 균형을 이룬다.
• 움직임 캡처 및 M3 예측 경쟁 데이터셋에서의 프레임 보완 작업과 예측 작업을 통해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 시간적 자동에코딩을 통한 사전학습이 시계열 데이터의 생성 모델 재구성 품질을 향상시킬 수 있는가?
• RQ2 자동에코더 학습과 대조적 경향성 학습을 조합하면 RBMs에서 시간적 역학을 더 잘 모델링할 수 있는가?
• RQ3 TA 사전학습은 다양한 유형의 데이터에서 시계열 예측의 예측 성능에 어떤 영향을 미치는가?
• RQ4 TA 사전학습으로 인한 성능 향상은 단지 단기 재구성 편향 때문인가, 아니면 더 나은 데이터 역학 표현 때문인가?
• RQ5 TA 사전학습은 인간의 운동과 거시경제 시계열 데이터 양쪽에서 일관되게 성능을 향상시킬 수 있는가?

주요 결과

• 움직임 캡처 데이터에서 시간적 자동에코딩은 TRBM에 대해 평균 제곱오차(MSE)를 표준 대조적 경향성 학습 대비 80% 감소시키고, CRBM에 대해서는 56% 감소시켰다.
• 50개 샘플에 대한 사후 평균 예측을 사용함으로써, 움직임 캡처 데이터에서 CRBM의 오차는 최대 91%까지 추가로 감소시켰다.
• M3 예측 경쟁 데이터셋에서 TA 사전학습은 모든 데이터 유형(연간, 분기, 월간, 기타)에서 예측 성능을 일관되게 향상시켜 MAPE를 감소시켰다.
• 성능 향상은 단기 재구성 편향 때문이 아니라 더 나은 데이터 역학의 표현 때문이었다.
• 자동에코더 사전학습과 대조적 경향성 학습의 조합은 각각의 방법보다 우수한 성능을 보이며 상호보완적 이점을 입증했다.
• 이 방법은 다양한 데이터 모달리티에 일반화되었으며 인간의 운동과 거시경제 시계열 양쪽에서 견고한 성능을 보였다.