[논문 리뷰] A clustering approach to time series forecasting using neural networks: A comparative study on distance-based vs. feature-based clustering methods

Manie Tadayon, Yumi Iwashita|arXiv (Cornell University)|2020. 01. 27.

Time Series Analysis and Forecasting참고 문헌 31인용 수 7

한 줄 요약

이 논문은 시간 시리즈 예측을 위한 하이브리드 신경망 프레임워크를 제안하며, 이상치 탐지, 데이터 보간, 군집화를 통합한다. 거리 기반(DTW)과 특징 기반 군집화 방법을 비교한다. 결과적으로 DTW 군집화가 더 일관되게 예측 정확도를 향상시키지만, 특징 기반 군집화는 뛰어난 속도와 효율성을 제공하며, 군집화 전체가 기준 모델보다 예측 성능을 향상시킨다.

ABSTRACT

Time series forecasting has gained lots of attention recently; this is because many real-world phenomena can be modeled as time series. The massive volume of data and recent advancements in the processing power of the computers enable researchers to develop more sophisticated machine learning algorithms such as neural networks to forecast the time series data. In this paper, we propose various neural network architectures to forecast the time series data using the dynamic measurements; moreover, we introduce various architectures on how to combine static and dynamic measurements for forecasting. We also investigate the importance of performing techniques such as anomaly detection and clustering on forecasting accuracy. Our results indicate that clustering can improve the overall prediction time as well as improve the forecasting performance of the neural network. Furthermore, we show that feature-based clustering can outperform the distance-based clustering in terms of speed and efficiency. Finally, our results indicate that adding more predictors to forecast the target variable will not necessarily improve the forecasting accuracy.

연구 동기 및 목표

• 신경망과 군집 기법을 통합하여 시간 시리즈 예측 정확도를 향상시키는 것.
• 군집화—특히 거리 기반(DTW)과 특징 기반 방법—가 예측 성능 및 계산 효율성에 미치는 영향을 평가하는 것.
• 정적 및 동적 시간 시리즈 데이터를 조합하면 예측 정확도가 향상되는지 조사하는 것.
• 더 많은 시간 시리즈 측정치를 추가할 경우 예측 오차가 일관되게 감소하는지 평가하는 것.
• 이상치 탐지 및 누락 데이터 보간과 같은 사전 처리 단계가 모델 신뢰성 향상에 기여하는지 입증하는 것.

제안 방법

• 이상치 탐지를 위해 Loess를 사용한 계절성-트렌드 분해(STL)를 적용하여 시간 시리즈 데이터의 이격치를 식별하고 대체한다.
• LSTM 기반 모델을 포함한 다양한 신경망 아키텍처를 사용하여 동적 측정치를 기반으로 시간 시리즈를 예측한다.
• 시간 시리즈에서 통계적 및 스펙트럼적 특징을 추출하여 특징 기반 군집화를 구현하였으며, 이는 거리 기반 DTW 군집화와 비교된다.
• 정적 데이터(예: 메타데이터)를 동적 시간 시리즈 데이터와 다양한 아키텍처 설계를 통해 조합하여 예측 성능을 향상시켰다.
• 이상치 탐지 이후 데이터 보간 기법을 적용하여 누락된 값을 처리하여 모델링 이전에 데이터 무결성을 확보하였다.
• 표준 평가 지표인 RMSE, MAPE, MAE를 사용하여 다양한 설정과 군집 K값(150–400)에서 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 신경망을 사용할 때 시간 시리즈 데이터를 군집화하면 예측 정확도가 향상되는가?
• RQ2 예측 정확도와 계산 효율성 측면에서 거리 기반(DTW)과 특징 기반 군집화 방법은 어떻게 비교되는가?
• RQ3 정적 및 동적 특징을 조합하면 시간 시리즈 예측 성능을 향상시킬 수 있는가?
• RQ4 더 많은 시간 시리즈 측정치를 추가하면 항상 예측 오차가 감소하는가?
• RQ5 이상치 탐지 및 보간과 같은 사전 처리 단계가 예측 결과에 얼마나 큰 영향을 미치는가?

주요 결과

• 특징 기반 군집화는 일부 경우 정확도가 약간 낮을 수는 있으나, 속도와 시간 복잡도 측면에서 DTW 군집화를 능가한다.
• 모든 모델에서 군집화가 예측 정확도를 크게 향상시켰으며, 모델 3의 경우 K=300에서 군집화 없이 MAPE가 38.52였으나 DTW 군집화 시 27.57로 감소하였다.
• 더 많은 시간 시리즈 측정치를 추가해도 항상 예측 정확도가 향상되지는 않았으며, 일부 조합(예: 첫 번째 및 두 번째 열)은 기준 모델보다 높은 오차(MAPE 최대 150.38)를 유발하였다.
• 모델 3는 DTW 군집화로 K=300에서 최고의 MAPE 27.57을 기록하였고, 모델 1은 특징 기반 군집화로 가장 빠른 추론 시간을 기록하였다.
• 이상치 탐지 및 보간의 통합은 데이터 품질을 향상시켜 군집화 및 예측 성능 향상에 기여하였다.
• 단일 신경망 아키텍처가 항상 다른 것들보다 뛰어나지 않았으며, 최적의 결과를 얻기 위해 교차 검증을 통한 모델 선택이 필수적이었다.