[논문 리뷰] Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting

Xinyu Chen, Lijun Sun|arXiv (Cornell University)|2020. 06. 18.

Tensor decomposition and applications참고 문헌 30인용 수 20

한 줄 요약

이 논문은 다변량 시계열을 제3의 순서 텐서(센서 × 시간대 × 일)로 변환하여 전역적 저질서 패턴과 국소적 자기상관 추세를 동시에 모델링하는 저질서 자기상관 텐서 완성(LATC) 프레임워크를 제안한다. LATC는 텐서 핵노름 최소화와 새로운 자기상관 노름을 통합하여 세 가지 실세계 데이터셋에서 결측치 보간 및 윤곽 예측 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Time series prediction has been a long-standing research topic and an essential application in many domains. Modern time series collected from sensor networks (e.g., energy consumption and traffic flow) are often large-scale and incomplete with considerable corruption and missing values, making it difficult to perform accurate predictions. In this paper, we propose a low-rank autoregressive tensor completion (LATC) framework to model multivariate time series data. The key of LATC is to transform the original multivariate time series matrix (e.g., sensor$ imes$time point) to a third-order tensor structure (e.g., sensor$ imes$time of day$ imes$day) by introducing an additional temporal dimension, which allows us to model the inherent rhythms and seasonality of time series as global patterns. With the tensor structure, we can transform the time series prediction and missing data imputation problems into a universal low-rank tensor completion problem. Besides minimizing tensor rank, we also integrate a novel autoregressive norm on the original matrix representation into the objective function. The two components serve different roles. The low-rank structure allows us to effectively capture the global consistency and trends across all the three dimensions (i.e., similarity among sensors, similarity of different days, and current time v.s. the same time of historical days). The autoregressive norm can better model the local temporal trends. Our numerical experiments on three real-world data sets demonstrate the superiority of the integration of global and local trends in LATC in both missing data imputation and rolling prediction tasks.

연구 동기 및 목표

• 대규모이고 완전하지 않은 다변량 시계열에서 결측치와 오염이 있는 상황에서도 정확한 예측을 달성하는 데 도전한다.
• 고차원적이고 완전하지 않은 데이터에서 전역적 시간 패턴과 국소적 역학을 동시에 다루기 어려운 전통적 모델의 한계를 극복한다.
• 보간과 예측을 하나의 텐서 완성 문제로 통합하는 프레임워크를 개발한다.
• 센서, 시간대, 일 차원에 걸쳐 전역적 저질서 구조와 국소적 자기상관 역학을 통합하여 예측 정확도를 향상시킨다.
• 텐서 구조를 활용해 모든 관측 데이터가 최종 예측에 기여하도록 하여 복잡한 시공간 의존성을 더 잘 모델링할 수 있도록 한다.

제안 방법

• 원래의 다변량 시계열 행렬(센서 × 시점)을 일일 및 주간 주기성을 반영한 제3의 순서 텐서(센서 × 시간대 × 일)로 변환한다.
• 전체 세 차원에 걸쳐 저질서 구조를 강제하기 위해 텐서 핵노름 최소화 및 잘린 핵노름 최소화를 적용하여 전역 일관성과 장기 추세를 모델링한다.
• 원래의 행렬 표현에 새로운 자기상관 노름을 도입하여 단기적이고 국소적인 시간 동적 변화 및 세밀한 시간 상관관계를 포착한다.
• 목적 함수를 저질서 텐서 완성과 자기상관 정규화의 조합으로 설정하여 동시 최적화를 가능하게 한다.
• 비볼록이고 비연속적인 최적화 문제를 해결하기 위해 분할 역할 방법(ADMM) 또는 유사 최적화 기법을 사용한다.
• 사용자가 정의한 예측 윈도우를 기반으로 관측 데이터를 엔드 투 엔드로 훈련하여 결측치와 향후 시점을 예측한다.

실험 결과

연구 질문

• RQ1 다변량 시계열을 텐서 구조로 변환하는 것이 결측치 존재 상황에서 전역적 및 국소적 시간 패턴을 모델링하는 데 효과적인가?
• RQ2 저질서 텐서 완성과 자기상관 노름의 통합이 각각 단독으로 사용될 경우와 비교해 시계열 예측에서 어떤 성능 향상을 이끌어내는가?
• RQ3 LATC는 보간 및 윤곽 예측 작업 모두에서 최신 기술 수준의 행렬 기반 및 텐서 기반 모델을 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ4 텐서 표현은 다변량 시계열의 이전 패턴을 일일 및 시간대별로 더 효과적으로 활용할 수 있는가, 기존의 행렬 기반 접근 방식에 비해?
• RQ5 LATC는 상당한 결측치가 존재하는 대규모 고차원 시계열을 효과적으로 처리하면서도 계산 가능성을 유지할 수 있는가?

주요 결과

• LATC는 세 가지 실세계 데이터셋 전반에서 가장 높은 보간 정확도를 달성하여, 저질서 텐서 모델(HaLRTC 등)과 행렬 기반 모델(TRMF, BTMF 등)을 모두 압도한다.
• 자기상관 노름의 통합은 순수 저질서 모델보다 성능 향상을 크게 이끌어내며, LATC-TNN이 모든 보간 및 예측 작업에서 HaLRTC-TNN을 능가함을 입증한다.
• 윤곽 예측에서 LATC-TNN은 원본 데이터(P)에서 평균 MAPE 6.39와 RMSE 4.97을 기록하여, TRMF(11.30/7.19)와 BTMF(8.83/5.95)를 상당한 격차로 앞서며 뛰어난 성능을 보였다.
• 40%의 결측치가 존재하는 ETT 데이터셋에서 비MAR(NM) 조건 하에서도 LATC-TNN은 MAPE 7.88과 RMSE 5.65를 기록하여, 다음으로 우수한 모델(12.67/4.87)을 크게 앞서는 성능을 보였다.
• 결측이 있는 시계열 예측에서 전역적(저질서) 및 국소적(자기상관) 패턴을 모두 모델링하는 것이 강력한 성능을 내기 위해 필수적임을 입증하였다.
• LATC-TNN은 항상 그 기반 신경망 기반 대안(LATC-NN)을 앞서며, 저질서 텐서 구조가 장기 의존성을 효과적으로 포착함을 확인하였다.