[논문 리뷰] Comparison of Machine Learning Methods for Predicting Karst Spring Discharge in North China

Shu Cheng, Xiaojuan Qiao외 2명|arXiv (Cornell University)|2020. 07. 25.

Hydrological Forecasting Using AI참고 문헌 14인용 수 5

한 줄 요약

이 연구는 중국 북부의 카르스트 샘물 유량 예측을 위해 다층 퍼셉트론(MLP), 장기 단기 기억-반복 신경망(LSTM-RNN), 지지 벡터 회귀(SVR)의 세 가지 기계학습 모델을 평가한다. 32년간의 강수량 및 유량 데이터를 사용하여 수행된 연구에서 MLP와 LSTM-RNN이 SVR을 크게 앞서며, MLP는 가장 낮은 오차 지표(MSE: 0.0010, MAE: 0.0254, RMSE: 0.0318)를 기록하여 비선형 수문학적 동역학을 모델링하는 데 뛰어난 성능을 보였다.

ABSTRACT

The quantitative analyses of karst spring discharge typically rely on physical-based models, which are inherently uncertain. To improve the understanding of the mechanism of spring discharge fluctuation and the relationship between precipitation and spring discharge, three machine learning methods were developed to reduce the predictive errors of physical-based groundwater models, simulate the discharge of Longzici Spring's karst area, and predict changes in the spring on the basis of long time series precipitation monitoring and spring water flow data from 1987 to 2018. The three machine learning methods included two artificial neural networks (ANNs), namely, multilayer perceptron (MLP) and long short-term memory-recurrent neural network (LSTM-RNN), and support vector regression (SVR). A normalization method was introduced for data preprocessing to make the three methods robust and computationally efficient. To compare and evaluate the capability of the three machine learning methods, the mean squared error (MSE), mean absolute error (MAE), and root-mean-square error (RMSE) were selected as the performance metrics for these methods. Simulations showed that MLP reduced MSE, MAE, and RMSE to 0.0010, 0.0254, and 0.0318, respectively. Meanwhile, LSTM-RNN reduced MSE to 0.0010, MAE to 0.0272, and RMSE to 0.0329. Moreover, the decrease in MSE, MAE, and RMSE were 0.0910, 0.1852, and 0.3017, respectively, for SVR. Results indicated that MLP performed slightly better than LSTM-RNN, and MLP and LSTM-RNN performed considerably better than SVR. Furthermore, ANNs were demonstrated to be prior machine learning methods for simulating and predicting karst spring discharge.

연구 동기 및 목표

• 물리 기반 지하수 모델의 카르스트 샘물 유량 예측 오차를 줄이기 위해 기계학습을 활용한다.
• 장기적인 강수량 및 유량 데이터(1987–2018)를 활용해 중국 북부의 롱즈즈이 샘물의 유량을 시뮬레이션하고 예측한다.
• 실제 수문학적 조건에서 세 가지 기계학습 방법—MLP, LSTM-RNN, SVR—의 성능을 평가한다.
• 카르스트 지하수 시스템에서 비선형 샘물 유량 동역학을 시뮬레이션하고 예측하는 데 가장 효과적인 기계학습 접근법을 규명한다.

제안 방법

• 강수량과 샘물 유량 간의 비선형 관계를 모델링하기 위해 다층 퍼셉트론(MLP)과 장기 단기 기억-반복 신경망(LSTM-RNN)을 적용한다.
• 비교적 기계학습 방법으로서, 반경함수(RBF) 커널을 사용한 지지 벡터 회귀(SVR)를 사용한다.
• 모델의 강인성과 계산 효율성을 향상시키기 위해 모든 세 가지 방법에 대해 데이터 정규화를 구현한다.
• 1987년부터 2012년까지의 역사적 데이터로 모델을 훈련하고, 2012년부터 2018년까지의 데이터로 일반화 능력을 평가한다.
• 표준 지표인 평균 제곱 오차(MSE), 평균 절대 오차(MAE), 및 제곱근 평균 제곱 오차(RMSE)를 사용해 모델 성능을 평가한다.
• 산점도와 통계적 오차 분석을 통해 모델 예측값을 관측된 샘물 유량과 비교한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 물리 기반 지하수 모델의 카르스트 샘물 유량 예측 오차를 효과적으로 줄일 수 있는가?
• RQ2 장기적인 강수량 및 유량 데이터를 활용할 때, MLP, LSTM-RNN, SVR은 월간 샘물 유량 예측에서 어떻게 비교되는가?
• RQ3 장기적인 샘물 유량 예측에서 가장 정확한 단기 예측을 제공하는 기계학습 모델은 무엇인가?
• RQ4 인공 신경망(ANN)은 전통적 회귀 모델에 비해 카르스트 수문학적 시스템의 비선형 동역학을 얼마나 잘 포착하는가?

주요 결과

• MLP는 MSE = 0.0010, MAE = 0.0254, RMSE = 0.0318으로 가장 낮은 오차 지표를 기록하여 예측 정확도가 뛰어나다는 것을 나타낸다.
• LSTM-RNN도 MLP와 거의 유사한 성능을 보였으며, MSE = 0.0010, MAE = 0.0272, RMSE = 0.0329로 순차적 데이터 처리에서 뛰어난 성능을 보였다.
• SVR는 상당히 높은 오차를 보였으며, MSE = 0.0910, MAE = 0.1852, RMSE = 0.3017로 예측 능력이 떨어짐을 시사한다.
• MLP와 LSTM-RNN 모델은 산점도에서 예측값 대 관측값의 점들이 1:1 선에 매우 가까이 위치하여 관측된 유량 값을 잘 반영함을 보였다.
• SVR는 체계적인 편향을 보였으며, 저류량 조건에서는 약간 과대평가하고 고류량 조건에서는 약간 과소평가하는 경향을 보였다.
• ANN 기반 모델(MPL과 LSTM-RNN)은 복잡한 비선형 동역학을 포착할 수 있는 능력 덕분에, 카르스트 샘물 유량의 시뮬레이션 및 예측에 있어 SVR보다 더 효과적임이 확인되었다.