[논문 리뷰] Comparison of Deep learning models on time series forecasting : a case study of Dissolved Oxygen Prediction

Hongqian Qin|arXiv (Cornell University)|2019. 11. 17.

Hydrological Forecasting Using AI참고 문헌 47인용 수 19

한 줄 요약

이 연구는 2012–2016년 동안의 고주기 실시간 데이터를 활용하여 양자강의 용존산소(DO) 농도를 예측하기 위해 다중단계 딥러닝 모델—LSTM, GRU, BiRNN, TCN, CNN을 비교한다. 워크-포워드 검증을 통해 GRU는 모든 시간 단계에서 RMSE, MAE, R² 측면에서 다른 모든 모델을 능가하며, 2.5–4시간 이후로 예측 정확도가 비선형적으로 저하된다.

ABSTRACT

Deep learning has achieved impressive prediction performance in the field of sequence learning recently. Dissolved oxygen prediction, as a kind of time-series forecasting, is suitable for this technique. Although many researchers have developed hybrid models or variant models based on deep learning techniques, there is no comprehensive and sound comparison among the deep learning models in this field currently. Plus, most previous studies focused on one-step forecasting by using a small data set. As the convenient access to high-frequency data, this paper compares multi-step deep learning forecasting by using walk-forward validation. Specifically, we test Convolutional Neural Network (CNN), Temporal Convolutional Network (TCN), Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), Bidirectional Recurrent Neural Network (BiRNN) based on the real-time data recorded automatically at a fixed observation point in the Yangtze River from 2012 to 2016. By comparing the average accumulated statistical metrics of root mean square error (RMSE), mean absolute error (MAE), and coefficient of determination in each time step, We find for multi-step time series forecasting, the average performance of each time step does not decrease linearly. GRU outperforms other models with significant advantages.

연구 동기 및 목표

• 강하강에서 용존산소(DO)의 다중단계 시계열 예측을 위한 딥러닝 모델 간 포괄적이고 공정한 비교를 수행하는 것.
• 2012–2016년 기간 동안의 실제 고주기 DO 데이터를 바탕으로 워크-포워드 검증을 통해 모델 성능을 평가하는 것.
• 예측 정확도가 시간 단계에 따라 선형적으로 떨어지는지 아니면 비선형적으로 감소하는지 조사하는 것.
• 실제 데이터 조건 하에서 단일 변수 DO 예측에 가장 강력한 딥러닝 아키텍처를 규명하는 것.

제안 방법

• 실시간 예측을 시뮬레이션하기 위해 확장 윈도우를 사용한 워크-포워드 검증을 적용하였으며, 5시간의 이전 DO 데이터를 바탕으로 다음 5시간을 예측하였다.
• 동일한 데이터셋과 실험 설정에서 CNN, TCN, LSTM, GRU, BiRNN의 다섯 가지 딥러닝 모델을 훈련 및 평가하였다.
• 주요 평가 지표로는 제곱근 평균 제곱오차(RMSE), 평균 절대 오차(MAE), 결정계수(R²)를 사용하였다.
• 데이터 전처리를 통해 영값을 제거하고 데이터 품질 문제를 해결하였지만, 극단적 외곽치는 여전히 해결되지 않았다.
• 경험적 튜닝을 통해 하이퍼파라미터를 최적화하였으며, 훈련 속도 향상을 위해 큰 배치 크기, 작은 유닛 수, 작은 필터를 선택하였다.
• 모든 시간 단계(1~10)의 평균 성능 지표를 계산하여 다중단계 예측의 신뢰성을 평가하였다.

실험 결과

연구 질문

• RQ1 실시간 강 수질 모니터링에서 다중단계 용존산소 예측에 가장 높은 정확도를 달성하는 딥러닝 모델은 무엇인가?
• RQ2 예측 성능은 시간 단계에 따라 어떻게 저하되며, 이 감소는 선형적일까 비선형적일까?
• RQ3 GRU는 DO 시계열에서 장기적 의존성을 포착하는 데서 LSTM 및 기타 RNN 변종보다 뛰어나다고 할 수 있는가?
• RQ4 다양한 아키텍처(CNN, TCN, RNNs)는 고주기이고 비정상적인 수질 데이터를 다룰 때 어떻게 비교되는가?

주요 결과

• GRU는 모든 시간 단계에서 평균 RMSE와 MAE가 가장 낮고, 평균 R²가 가장 높아 전반적인 성능이 뛰어났다.
• LSTM는 RMSE와 MAE가 가장 높고 R²가 가장 낮아 시험한 여섯 모델 중에서 가장 정확도가 낮았다.
• 모든 모델의 예측 정확도는 비선형적으로 저하되었으며, 2.5시간과 4시간 시간 단계 이후에 급격히 성능이 떨어졌다.
• 성능 저하가 균일하지 않아, 특히 2.5시간 이후에 오차율이 급격히 증가하는 경향이 있었으며, 이는 특정 예측 시점 이후로 오류가 급격히 증가함을 시사한다.
• 다양한 하이퍼파라미터 설정 조건에서도 결과가 강인하여, 튜닝 방식에 관계없이 일관된 모델 순위가 유지됨을 확인하였다.
• 극단적 값과 측정 오류 등의 데이터 품질 문제에도 불구하고, 딥러닝 모델, 특히 GRU는 노이즈가 많은 실세계 시계열 데이터를 다루는 데 뛰어난 내성과 저항성을 보였다.