[논문 리뷰] Efficient Reservoir Management through Deep Reinforcement Learning

Xinrun Wang, Tarun Nair외 8명|arXiv (Cornell University)|2020. 12. 07.

Adaptive Dynamic Programming Control참고 문헌 8인용 수 5

한 줄 요약

이 논문은 동적 선형 모델(DLM)을 사용하여 상류 유입을 예측하는 오프라인 시뮬레이터를 활용한 효율적인 저류지 운영을 위한 딥 강화학습(DRL) 프레임워크를 제안한다. 실제 강수량 및 저류지 데이터로 훈련된 DDPG 및 TD3 에이전트는 인간이 수립한 정책을 초월하며, 특히 TD3는 실제 세계 데이터에서 뛰어난 일반화 성능을 보이며, 인공지능 기반 홍수 완화 및 다목적 저류지 최적화의 잠재력을 입증한다.

ABSTRACT

Dams impact downstream river dynamics through flow regulation and disruption of upstream-downstream linkages. However, current dam operation is far from satisfactory due to the inability to respond the complicated and uncertain dynamics of the upstream-downstream system and various usages of the reservoir. Even further, the unsatisfactory dam operation can cause floods in downstream areas. Therefore, we leverage reinforcement learning (RL) methods to compute efficient dam operation guidelines in this work. Specifically, we build offline simulators with real data and different mathematical models for the upstream inflow, i.e., generalized least square (GLS) and dynamic linear model (DLM), then use the simulator to train the state-of-the-art RL algorithms, including DDPG, TD3 and SAC. Experiments show that the simulator with DLM can efficiently model the inflow dynamics in the upstream and the dam operation policies trained by RL algorithms significantly outperform the human-generated policy.

연구 동기 및 목표

• 인도와 같은 장마 기간이 많은 지역에서 발생하는 기존 댐 운영의 비효율성으로 인한 하류 홍수 및 생태계 손상을 해결한다.
• 비적응형 규칙 곡선과 극단적 강우 사건에 대한 낮은 대응 능력 등의 전통적 규칙 기반 정책의 한계를 극복한다.
• 홍수 통제, 수력발전, 관개 가능성을 포함한 다중 목표를 동시에 최적화할 수 있는 데이터 기반의 적응형 저류지 운영 체계를 개발한다.
• DLM와 같은 동적 모델을 활용해 변화하는 수문 기후 조건을 더 잘 반영할 수 있도록 유입 예측 정확도를 향상시킨다.
• 시뮬레이터 환경에서 훈련된 딥 강화학습 에이전트가 실제 저류지 운영에 효과적으로 적용되는지 입증한다.

제안 방법

• 2012~2019년 기간 동안 반사산 댐에서 확보한 실제 데이터를 기반으로 오프라인 시뮬레이터를 구축하였으며, CHIRPS에서 확보한 강우 추정치와 저류지 수위 관측치를 통합하였다.
• 칼만 필터링과 베이지안 업데이트를 활용한 동적 선형 모델(DLM)을 사용하여 시간에 따라 변화하는 유입 동역학을 모델링하였으며, 정적 GLS 모델보다 뛰어난 성능을 보였다.
• 상태, 행동, 전이, 보상, 할인 요소로 구성된 마르코프 결정 과정(MDP)으로 저류지 운영 문제를 수식화하였다.
• 홍수 피해 감소, 밭고추 및 밀 재배에 대한 관개 가능도, 수력발전을 통합한 복합 보상 함수를 설계하였다.
• DRL 최신 알고리즘인 DDPG, TD3, SAC을 시뮬레이터에서 훈련하였으며, DLM 기반 모델을 사용해 유입 예측을 수행하였다.
• 실제 데이터를 포함한 2019년 데이터셋을 별도로 확보하여 일반화 능력을 평가하였으며, 인간이 수립한 방류 정책과의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 DLM 기반 시뮬레이터에서 훈련된 DRL 기반 에이전트가 하류 홍수 피해 감소 측면에서 인간이 수립한 저류지 운영 정책을 초월할 수 있는가?
• RQ2 유입 예측 모델 선택(GSL 대비 DLM)이 훈련된 DRL 정책의 성능과 안정성에 어떤 영향을 미치는가?
• RQ3 DRL 에이전트가 시뮬레이션 데이터에서 훈련된 후 실제 환경 조건으로의 일반화 능력은 어느 정도인가? 특히 시뮬레이터가 실제 데이터를 사용하는지 모델 기반 유입 예측을 사용하는지에 따라 어떻게 달라지는가?
• RQ4 DDPG, TD3, SAC와 같은 다양한 DRL 알고리즘 간에 훈련 효율성, 안정성, 최종 성능 측면에서 어떤 차이가 있는가?
• RQ5 홍수 통제, 관개, 수력발전과 같은 다중 목표를 하나의 DRL 정책을 통해 효과적으로 최적화할 수 있는가?

주요 결과

• DLM 기반 시뮬레이터는 나쉬-서틀리프 효율성(NSE) 0.9843을 기록하여 정적 GLS 모델(NSE = 0.4045)을 크게 앞서며 뛰어난 유입 예측 정확도를 입증하였다.
• DLM 기반 시뮬레이터에서 훈련된 DDPG 및 TD3 에이전트는 홍수 피해 감소와 관개 및 수력발전 출력 증대 측면에서 인간이 수립한 정책을 초월하였다.
• TD3는 실제 데이터에서 DDPG와 거의 동일한 테스트 성능을 기록하였고, DDPG는 실제 데이터를 사용한 시뮬레이터에서 과적합을 보였으며, 이는 TD3의 더 뛰어난 일반화 능력을 시사한다.
• SAC는 다양한 시뮬레이터에서 효과적으로 훈련되지 못했으며, 성능이 열악하고 안정성이 떨어져, 하이퍼파라미터 민감성 또는 환경의 복잡성으로 인한 것으로 보인다.
• GLS를 DLM와 함께 포함시켜도 모델 성능 향상이 없었으며, 이는 본 연구 맥락에서 DLM만으로도 정확한 유입 모델링이 가능하다는 것을 시사한다.
• 결과적으로 모델 기반 시뮬레이터(DLM 사용)는 단순히 데이터 기반 시뮬레이터보다 더 강력한 DRL 정책을 훈련시키는 데 효과적이며, 후자는 과적합과 실제 환경에서의 낮은 일반화 능력으로 이어진다.