[논문 리뷰] Surrogate Optimization of Deep Neural Networks for Groundwater Predictions

Juliane Mueller, Jangho Park외 5명|arXiv (Cornell University)|2019. 08. 28.

Hydrological Forecasting Using AI참고 문헌 83인용 수 7

한 줄 요약

이 논문은 캘리포니아 버트 카운티의 일일 지하수 수위 예측을 위한 딥 뉴럴 네트워크를 위한 서면 기반 초기화 최적화(HPO) 프레임워크를 제안한다. 라디얼 기저 함수(RBF)와 가우시안 프로세스(GP)를 서면 모델로 사용하여, RBF를 통해 최적화된 다층 퍼셉트론(MLP)이 예측 정확도(RMSE ≤ 2미터)와 계산 효율성 사이에서 가장 우수한 균형을 이룩했음을 입증한다. 이는 LSTM 및 CNN과 같은 더 복잡한 모델들보다 정확도와 솔루션 도달 시간 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Sustainable management of groundwater resources under changing climatic conditions require an application of reliable and accurate predictions of groundwater levels. Mechanistic multi-scale, multi-physics simulation models are often too hard to use for this purpose, especially for groundwater managers who do not have access to the complex compute resources and data. Therefore, we analyzed the applicability and performance of four modern deep learning computational models for predictions of groundwater levels. We compare three methods for optimizing the models' hyperparameters, including two surrogate model-based algorithms and a random sampling method. The models were tested using predictions of the groundwater level in Butte County, California, USA, taking into account the temporal variability of streamflow, precipitation, and ambient temperature. Our numerical study shows that the optimization of the hyperparameters can lead to reasonably accurate performance of all models (root mean squared errors of groundwater predictions of 2 meters or less), but the ''simplest'' network, namely a multilayer perceptron (MLP) performs overall better for learning and predicting groundwater data than the more advanced long short-term memory or convolutional neural networks in terms of prediction accuracy and time-to-solution, making the MLP a suitable candidate for groundwater prediction.

연구 동기 및 목표

• 기후 변화 하에서 신뢰성 있고 정확하며 계산 자원을 적게 소비하는 지하수 수위 예측의 과제를 해결하기 위해.
• 일일 지하수 수위 시계열 데이터에 대해 네 가지 딥 러닝 모델—MLP, RNN, LSTM, CNN—의 성능을 평가하기 위해.
• 세 가지 초기화 최적화(HPO) 방법—랜덤 샘플링, RBF 기반 서면, GP 기반 서면—을 비교하기 위해.
• 제한된 계산 자원에서 실용적인 지하수 관리에 가장 효과적인 모델-HPO 조합을 특정하기 위해.
• 가장 우수한 성능을 보인 모델의 일반화 능력과 데이터 양, 입력 변수, 유역 특성에 대한 민감도를 평가하기 위해.

제안 방법

• 상위 수준에서 초기화 파라미터 선택, 하위 수준에서 신경망 가중치 최적화를 위한 이중 최적화 문제를 수립하였다.
• 두 가지 서면 모델 기반 HPO 방법을 적용: 목적 함수를 근사하기 위해 라디얼 기저 함수(RBF) 및 가우시안 프로세스(GP) 모델을 사용하였다.
• 비교를 위한 기준선 HPO 방법으로 랜덤 샘플링을 사용하였다.
• 캘리포니아 버트 카운티의 하나 또는 세 개의 웰에서 수집한 일일 지하수 수위, 강수량, 강수량, 기온 관측 자료를 기반으로 모델을 학습시켰다.
• 다중 웰 케이스에서는 여러 웰의 검증 오차 가중 합을 사용하여 모델을 최적화하였다.
• 예측된 지하수 수위와 관측된 지하수 수위 간의 제곱근 평균 제곱 오차(RMSE)를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 비정상적인 수문학적 시스템에서 일일 지하수 수위를 예측하기 위해 어떤 딥 뉴럴 네트워크 아키텍처(MLP, RNN, LSTM, CNN)가 가장 우수한 성능을 보이는가?
• RQ2 RBF 및 GP 기반 서면 HPO 방법은 랜덤 샘플링에 비해 예측 정확도와 최적화 시간 측면에서 어떻게 비교되는가?
• RQ3 단일 웰 예측과 다중 웰 예측 설정 간에 모델 성능에 유의미한 차이가 존재하는가?
• RQ4 다양한 HPO 전략에서 모델 복잡도와 학습 시간이 예측 정확도와 어떻게 상관관계가 있는가?
• RQ5 RBF 최적화 MLP 모델은 수문지질학적 및 기후 조건이 다른 다른 유역으로 일반화될 수 있는가?

주요 결과

• RBF 기반 서면 방법으로 최적화된 다층 퍼셉트론(MLP)은 모든 테스트 케이스에서 2미터 이내의 최소 제곱근 평균 제곱 오차(RMSE)를 달성하였다.
• RBF 기반 HPO 방법은 가장 짧은 총 최적화 시간으로 가장 우수한 성능을 보인 모델 아키텍처를 도출하였으며, GP 기반 및 랜덤 샘플링 방법을 모두 능가하였다.
• LSTM 모델은 성능에 큰 변동성이 있었고, 예측 값의 급격한 변화를 보여, 더 높은 초깃값 선택 민감도와 낮은 내구성을 시사하였다.
• RNN 모델은 기울기 소실 문제로 인해 역전파 중 자주 수렴하지 못해 가장 효과적이지 못했다.
• CNN 모델은 좋은 예측 정확도를 달성했지만, MLP에 비해 훨씬 더 많은 계산 시간을 소비하여 실시간 응용에 있어 효율성이 떨어졌다.
• 다중 웰 케이스에서는 최적화 과정이 가장 복잡한 시계열(예: 심한 수위 강하가 발생하는 웰 C)에 더 민감한 것으로 나타났으며, 이는 가중 오차 목표 함수가 내구성을 향상시킬 수 있음을 시사한다.