[논문 리뷰] Retrieval Based Time Series Forecasting

Baoyu Jing, Si Zhang외 5명|arXiv (Cornell University)|2022. 09. 27.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 관련된 이전 시계열을 참조로 활용하여 고결손률 상황에서도 정확도를 향상시키는 리트리ieval 기반 시계열 예측 방법인 ReTime을 제안한다. 이론적 분석은 참조가 예측 불확실성을 감소시킴을 보여주며, 실증 결과는 ReTime이 실제 데이터셋에서 특히 장기 예측 수준에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Time series data appears in a variety of applications such as smart transportation and environmental monitoring. One of the fundamental problems for time series analysis is time series forecasting. Despite the success of recent deep time series forecasting methods, they require sufficient observation of historical values to make accurate forecasting. In other words, the ratio of the output length (or forecasting horizon) to the sum of the input and output lengths should be low enough (e.g., 0.3). As the ratio increases (e.g., to 0.8), the uncertainty for the forecasting accuracy increases significantly. In this paper, we show both theoretically and empirically that the uncertainty could be effectively reduced by retrieving relevant time series as references. In the theoretical analysis, we first quantify the uncertainty and show its connections to the Mean Squared Error (MSE). Then we prove that models with references are easier to learn than models without references since the retrieved references could reduce the uncertainty. To empirically demonstrate the effectiveness of the retrieval based time series forecasting models, we introduce a simple yet effective two-stage method, called ReTime consisting of a relational retrieval and a content synthesis. We also show that ReTime can be easily adapted to the spatial-temporal time series and time series imputation settings. Finally, we evaluate ReTime on real-world datasets to demonstrate its effectiveness.

연구 동기 및 목표

• 기본 관측치가 제한되어 있을 때, 특히 고결손률(예: 0.8) 상황에서 시계열 예측의 높은 불확실성 문제를 다루는 것.
• 조건부 엔트로피를 사용하여 예측 불확실성을 이론적으로 정량화하고, 이를 평균제곱오차(MSE)와 연결하는 것.
• 검색된 참조를 사용하는 모델이 불확실성이 감소함에 따라 학습이 더 쉬워지는지 입증하는 것.
• 효과적인 시계열 예측, 보간, 공간-시간 모델링을 위한 실용적인 이단계 방법인 ReTime을 개발하는 것.
• 다양한 실제 데이터셋과 설정에서 ReTime의 효과성을 실증적으로 검증하는 것.

제안 방법

• ReTime은 이단계 프레임워크를 사용한다: 첫 번째 단계에서 유사성 대신 구조적 또는 위상적 관계(예: 센서 인접성)를 기반으로 관련 참조 시계열을 식별하는 유사성 기반 검색을 수행한다.
• 유사성 기반 검색은 입력 이력 값이 희박하거나 손상된 경우에도 신뢰성 있는 결과를 보장한다.
• 두 번째 단계에서 내용 합성 모듈을 사용하여 대상 시계열과 검색된 참조를 조합하여 향후 값을 생성한다.
• 대상 시계열의 이력 스퍼널 자체를 최상위 참조로 간주함으로써 공간-시간 예측 및 시계열 보간에 적용 가능하다.
• 이론적 분석을 통해 참조 기반 모델이 조건부 엔트로피를 낮춤으로써 불확실성을 감소시킴을 증명한다.
• 하이퍼파ram터에 대한 추론 실험을 통해 참조 수 K에 대한 영향을 평가하였으며, K=5–10에서 최적 성능를 보임을 확인하였다.

실험 결과

연구 질문

• RQ1 시계열 예측의 불확실성은 조건부 엔트로피를 통해 이론적으로 정량화할 수 있으며, 이는 MSE와 같은 표준 지표와 연결될 수 있는가?
• RQ2 관련 시계열 참조를 검색함으로써 예측 불확실성이 감소하고, 특히 고결손률 상황에서 모델의 일반화 성능이 향상되는가?
• RQ3 유사성 기반 검색과 내용 합성의 이단계 방법이 기존 딥러닝 모델보다 장기 예측에서 더 뛰어난 성능을 내는가?
• RQ4 제안된 ReTime 프레임워크는 예측 외에도 시계열 보간 및 공간-시간 모델링에 효과적인가?
• RQ5 검색된 참조 수(K)가 ReTime의 성능 및 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 이론적 분석을 통해 조건부 엔트로피로 측정된 예측 불확실성은 평균제곱오차(MSE)와 직접적인 관련이 있음을 확인하였으며, 이는 불확실성 정량화의 공식적 기반을 제공한다.
• 검색된 참조를 사용하는 모델는 불확실성이 감소함에 따라 예측 과제의 효과적 복잡도가 낮아져 학습이 더 쉬워짐을 보였다.
• ReTime은 실제 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특히 고결손률(예: 0.8) 상황에서 표준 모델이 심각하게 성능 저하되는 조건에서 뛰어난 성능을 보였다.
• ReTime의 최적 참조 수(K)는 5에서 10 사이에 위치하며, 성능과 계산 비용의 균형을 잘 맞춘다.
• 학습 시간과 GPU 메모리 사용량은 K에 따라 선형적으로 증가함을 확인하여 예측 가능하고 확장 가능한 자원 사용을 보였다.