[논문 리뷰] Autoregressive-Model-Based Methods for Online Time Series Prediction with Missing Values: an Experimental Evaluation

Xi Chen, Hongzhi Wang외 3명|arXiv (Cornell University)|2019. 08. 10.

Data Stream Mining Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 누락된 값을 처리하기 위해 오ート레그리서티브 모델 기반 온라인 시계열 예측 방법 다섯 가지를 평가한다. 보정 기반 접근법(YP, KF, OGD, AERR)과 기준선(ARLS)을 비교하며, 단순 보정이 신뢰할 수 있고 효과적인 전략임을 발견한다. 반면 AERR 및 OGD와 같은 샘플링 기반 방법은 특히 높은 누락 비율이나 비정규성 노이즈 하에서 성능이 열 劣하다.

ABSTRACT

Time series prediction with missing values is an important problem of time series analysis since complete data is usually hard to obtain in many real-world applications. To model the generation of time series, autoregressive (AR) model is a basic and widely used one, which assumes that each observation in the time series is a noisy linear combination of some previous observations along with a constant shift. To tackle the problem of prediction with missing values, a number of methods were proposed based on various data models. For real application scenarios, how do these methods perform over different types of time series with different levels of data missing remains to be investigated. In this paper, we focus on online methods for AR-model-based time series prediction with missing values. We adapted five mainstream methods to fit in such a scenario. We make detailed discussion on each of them by introducing their core ideas about how to estimate the AR coefficients and their different strategies to deal with missing values. We also present algorithmic implementations for better understanding. In order to comprehensively evaluate these methods and do the comparison, we conduct experiments with various configurations of relative parameters over both synthetic and real data. From the experimental results, we derived several noteworthy conclusions and shows that imputation is a simple but reliable strategy to handle missing values in online prediction tasks.

연구 동기 및 목표

• 시계열 데이터에 누락된 값이 포함된 경우 온라인 자동회귀 모델 기반 방법의 성능을 조사하기 위해.
• 실제 및 합성 시계열에서 보정 기반 방법(YW, KF, OGD, AERR)과 비보정 전략의 효과성을 비교하기 위해.
• 다양한 누락 비율, 노이즈 수준, 시계열 길이, 모델 순서에서 견고한 성능을 보이는 방법을 특정하기 위해.
• 기본 AR 모델 특성—정상성, 추세 안정성, 계수 동적 변화—이 예측 정확도에 미치는 영향을 평가하기 위해.
• 누락된 데이터 하에서 온라인 예측에 샘플링 기반 방법이 보다 적합한지, 전통적 보정 기반 방법이 더 적합한지 결정하기 위해.

제안 방법

• 주류의 다섯 가지 방법—율-워커(YW), 칼만 필터(KF), 온라인 경사 하강법(OGD), 속성 효율적 릿지 회귀(AERR), 자동회귀 최소제곱(ARLS)—을 누락된 값이 있는 온라인 AR 모델 기반 예측에 적응 적용하였다.
• 보정 전략을 활용: 표준 AR 추정 기법을 적용하기 전에 이전 예측값을 사용해 누락된 값을 메우기 위해.
• YW를 사용해 자기상관을 통해 AR 계수를 추정하고, 표본 공분산을 사용해 윤-워커 방정식을 풀었다.
• KF를 사용해 시계열을 은닉 상태를 가진 상태공간 과정으로 모델링하고, 예측 및 측정 단계를 통해 추정치를 갱신하였다.
• OGD를 온라인 선형 회귀에 대한 확률적 경사 하강법으로 적용하여, 누락된 데이터가 보정된 상태에서 가중치를 반복적으로 갱신했다.
• AERR를 사용해 전체 보정 없이 사후 분포에서 샘플링하여 계수를 추정하는 반보정 방법으로 활용하였다.

실험 결과

연구 질문

• RQ1 합성 및 실제 시계열에서 다양한 누락 데이터 비율 하에서 보정 기반 및 비보정 기반 방법의 성능은 어떻게 되는가?
• RQ2 온라인 예측 설정에서 노이즈 분산, 시계열 길이, 모델 순서에 대한 방법의 민감도는 어떠한가?
• RQ3 비정상적인 추세, 높은 변동 범위, 비정규성 노이즈를 가진 시계열에서 방법의 성능은 어떠한가?
• RQ4 샘플링 기반 또는 직접 추정 방법에 비해 보정이 예측 정확도를 크게 향상시키는가?
• RQ5 실제 데이터에서 빠른 시계열 변화와 높은 누락 비율에 대해 어느 방법이 가장 견고한가?

주요 결과

• 보정은 온라인 시계열 예측에서 누락된 값을 처리하는 데 있어 단순하지만 신뢰할 수 있고 효과적인 전략이며, 비보정 방법보다 뛰어난 성능을 보였다.
• AERR는 항상 가장 열 劣한 성능을 보였으며, 특히 높은 누락 비율, 큰 변동 범위, 높은 노이즈 분산 하에서 두드러지게 나타나, 온라인 학습에서 샘플링 기반 접근법의 한계를 보여주었다.
• OGD 역시 전반적으로 성능이 열 劣했으며, 특히 높은 누락 비율과 비정규성 노이즈를 가진 실제 데이터에서 빈도에 민감하고 노이즈에 취약한 것으로 나타났다.
• KF와 YW는 일반적으로 더 나은 성능을 보였지만, YW는 비계절성 또는 불안정한 추세 시계열에서 실패했고, KF는 노이즈가 비정규일 경우 성능이 떨어졌다.
• 예측에 가장 적합한 모델 순서는 실제 기반 AR 모델 순서와 거의 일치했으며, 정확한 설정의 중요성을 확인했다.
• 실제 데이터에서는 누락 비율이 증가함에 따라 예측 오차가 비선형적으로 증가하는 반면, 합성 데이터에서는 선형적으로 증가하여 실제 누락 패턴의 복잡성을 강조했다.