[논문 리뷰] Time Series Compression Based on Adaptive Piecewise Recurrent Autoencoder

Daniel Hsu|arXiv (Cornell University)|2017. 07. 23.

Time Series Analysis and Forecasting참고 문헌 15인용 수 8

한 줄 요약

이 논문은 장기 기억을 갖춘 순환 신경망(LSTM)을 사용하는 적응형 조각별 순환 오토인코더(RAE)를 활용한 손실 압축 방법을 제안한다. 지역적 시계열 통계에 기반해 입력 윈도우 크기를 동적으로 조정하고, 은닉 상태와 입력을 동시에 인코딩하기 위해 RAE를 활용함으로써, 사용자가 정의한 허용 오차 범위 내에서 높은 압축 비율(최소 0.03)과 낮은 재구성 오차(RMSE ≤ 0.07)를 달성한다.

ABSTRACT

Time series account for a large proportion of the data stored in financial, medical and scientific databases. The efficient storage of time series is important in practical applications. In this paper, we propose a novel compression scheme for time series. The encoder and decoder are both composed by recurrent neural networks (RNN) such as long short-term memory (LSTM). There is an autoencoder between encoder and decoder, which encodes the hidden state and input together and decodes them at the decoder side. Moreover, we pre-process the original time series by partitioning it into segments with various lengths which have similar total variation. The experimental study shows that the proposed algorithm can achieve competitive compression ratio on real-world time series.

연구 동기 및 목표

• 금융, 헬스케어, 에너지 등 다양한 분야에서 대규모 시계열 데이터를 효율적으로 저장하고 전송하는 데 도전하는 데 목적을 둔다.
• 예측 및 시각화와 같은 후속 작업에 충분한 재구성 품질을 유지하는 손실 압축 기법을 개발하는 데 목적을 둔다.
• 지역적 시계열 복잡도에 따라 입력 윈도우 크기를 조정함으로써 압축 효율성을 향상시키는 적응형 압축을 가능하게 하는 데 목적을 둔다.
• 에코더와 디코더 양쪽에서 LSTMs의 장기 의존성 모델링 능력을 활용하여 재구성 정밀도를 향상시키는 데 목적을 둔다.
• 정밀도가 요구되는 응용 분야에 적합한 최대 재구성 편차를 보장하는 방법을 제공하는 데 목적을 둔다.

제안 방법

• 이 방법은 시계열 데이터를 인코딩하고 디코딩하기 위해 두 개의 병렬 LSTM 네트워크를 사용하는 순환 오토인코더(RAE)를 사용한다.
• 적응형 입력 윈도우 전략은 지역적 시계열 변동성에 기반해 윈도우 크기를 조정하며, 최소 재구성 오차를 위해 이진 탐색을 활용한다.
• 입력 시퀀스는 RAE의 고정된 입력 차원에 맞추기 위해 보간 또는 다운샘플링되어 변동 해상도의 압축을 가능하게 한다.
• 에코더는 입력 시퀀스와 그 은닉 상태를 모두 압축하며, 디코더는 잠재 표현을 사용해 신호를 재구성한다.
• RAE는 최대 편차(L∞ 노름)가 사용자가 정의한 허용 오차 범위 내에 있도록 제약을 두고 엔드 투 엔드로 훈련되어 재구성 오차를 최소화한다.
• 다중 차원 시계열 데이터에 대해선 각 채널을 독립적으로 또는 RAE 프레임워크 내에서 공동으로 처리함으로써 알고리즘을 확장한다.

실험 결과

연구 질문

• RQ1 다양한 局소 복잡도를 가지는 시계열에 대해 적응형 윈도우 전략이 압축 효율성을 향상시킬 수 있는가?
• RQ2 LSTM과 순환 오토인코더를 결합함으로써 장기적 시간 의존성을 더 잘 재구성할 수 있는가?
• RQ3 제안된 방법은 사용자가 정의한 오차 한계 내에서 높은 압축 비율을 달성할 수 있는가?
• RQ4 압축 비율과 재구성 정확도 측면에서 적응형 RAE의 성능이 고정 윈도우 접근 방식에 비해 어떻게 비교되는가?
• RQ5 이 방법은 실제 센서에서 유래한 다중 차원 시계열 데이터에 얼마나 일반화될 수 있는가?

주요 결과

• 지진 신호에서 최대 허용 편차 0.15일 때 압축 비율 0.03, RMSE 0.07을 달성하였다.
• 지진 데이터에서 허용 편차 0.1일 경우 압축 비율 0.06, RMSE 0.03을 달성하였다.
• 다중 차원 인간 활동 데이터에서 허용 편차 0.15일 때 압축 비율 0.05, RMSE 0.02를 달성하였다.
• 인간 활동 데이터에서 허용 편차를 0.2로 높였을 경우 압축 비율은 0.03으로 증가하였고, RMSE는 0.05로 유지되었다.
• 적응형 윈도우 전략은 정보가 많은 세그먼트에 집중하고 평탄한 영역의 중복을 줄임으로써 압축 효율성을 크게 향상시켰다.
• 에코더와 디코더 양쪽에 LSTMs를 사용함으로써 장기적 시간 의존성을 효과적으로 모델링할 수 있었고, 이는 재구성 품질 향상에 기여하였다.