[논문 리뷰] Stratospheric Aerosol Injection as a Deep Reinforcement Learning Problem

Christian Schroeder de Witt, Thomas Hornigold|arXiv (Cornell University)|2019. 05. 17.

Climate Change and Geoengineering참고 문헌 25인용 수 7

한 줄 요약

이 논문은 기후 완화를 위한 고차원적이고 맥락에 민감한 기상 조절 문제인 고층 대기 에어로졸 주입(SAI)을 깊이 강화학습(DRL)을 통해 해결하는 고차원적 마르코프 결정과정(MDP)으로 간주한다. 이를 위해 HadCM3 대기순환모델(GCM)의 딥러닝 에뮬레이터를 사용하여 샘플 효율적인 훈련을 가능하게 한다. 주요 기여는 기후 과학 분야에 DRL을 적용하여 지역 기후 파괴를 최소화하는 SAI 정책을 최적화한 최초의 사례이다.

ABSTRACT

As global greenhouse gas emissions continue to rise, the use of stratospheric aerosol injection (SAI), a form of solar geoengineering, is increasingly considered in order to artificially mitigate climate change effects. However, initial research in simulation suggests that naive SAI can have catastrophic regional consequences, which may induce serious geostrategic conflicts. Current geo-engineering research treats SAI control in low-dimensional approximation only. We suggest treating SAI as a high-dimensional control problem, with policies trained according to a context-sensitive reward function within the Deep Reinforcement Learning (DRL) paradigm. In order to facilitate training in simulation, we suggest to emulate HadCM3, a widely used General Circulation Model, using deep learning techniques. We believe this is the first application of DRL to the climate sciences.

연구 동기 및 목표

• 기후 완화를 위한 고차원적이고 맥락에 민감한 고층 대기 에어로졸 주입(SAI) 제어 문제를 해결하기 위해.
• 기후 시뮬레이션에서 DRL의 샘플 비효율성을 극복하기 위해, HadCM3 대기순환모델(GCM)의 빠르고 정확한 에뮬레이터를 훈련시켜 샘플 효율적인 DRL 훈련을 가능하게 하기 위해.
• 지역 기후 파괴를 최소화하는 시간에 따라 변화하는 최적의 SAI 주입 정책을 학습하는 DRL 프레임워크를 개발하기 위해.
• 몬순 이동과 종료 효과와 같은 지역 감수성을 고려하여 SAI에 대한 강건한 정책 발견을 가능하게 하기 위해.
• 실세계 적용 이전에 지속가능하고 물리적으로 일관된 방법으로 지속가능한 기후공학 전략을 평가하기 위한 확장 가능한 방법 제공하기 위해.

제안 방법

• 표면 기온, 해빙, 해양열함량, 에어로졸 광학 밀도(AOD) 격자로 정의된 상태 공간을 갖는 고차원적 마르코프 결정과정(MDP)으로 SAI 제어를 간주한다.
• UNet을 영감으로 삼은 컨volutional 인코더-디코더 신경망을 사용하여 HadCM3 GCM 출력을 에뮬레이트하고, 밀리초 내에 다음 상태 기후 변수를 예측한다.
• 이미지넷에서 사전 훈련한 인코더를 사용하고, αk=1.5인 딜레트 분포에서 유도된 에어로졸 분포와 함께 2000개의 HadCM3 롤아웃 샘플을 사용하여 미세조정한다. 코agulation 한계를 고려하여 최대 4ρ로 제한한다.
• 큰 공동 행동 공간을 관리하기 위해 이산화된 행동 공간(73개의 위도 대역에 걸쳐 각각 10개의 버킷)과 요인화된 가치 함수를 사용한 오프정책 DQN 학습을 적용한다.
• 사전 산업화 시대의 지역 강수량과 기온에서의 편차를 벌어지지 않도록 하는 맥락 민감한 보상 함수를 정의하며, 초모수 αP와 αT로 가중치를 조정한다.
• 완전한 HadCM3 시뮬레이션에서 DRL로 학습된 정책을 교차 검증하여 물리적 일관성과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 깊이 강화학습(DRL)이 고차원 기후 제어 환경에서 고층 대기 에어로졸 주입(SAI) 정책을 효과적으로 최적화하는 데 적용될 수 있는가?
• RQ2 HadCM3과 같은 전체 GCM의 빠르고 정확한 에뮬레이터를 어떻게 훈련시켜 기후 간섭을 위한 샘플 효율적인 DRL 훈련을 가능하게 할 수 있는가?
• RQ3 SAI 배포에서 글로벌 냉각과 지역 기후 안정성을 가장 잘 균형 잡는 보상 함수의 구조는 무엇인가?
• RQ4 시간에 따라 변화하고 공간적으로 비균일한 SAI 주입 전략은 지역 기후 파괴를 최소화하기 위해 단순한 균일 주입 전략보다 어떻게 비교되는가?
• RQ5 DRL은 몬순 이동이나 급격한 종료 warming과 같은 치명적인 지역적 영향을 피할 수 있는 비직관적이고 적응형 SAI 정책을 발견할 수 있는가?

주요 결과

• 제안된 GCM 에뮬레이터는 밀리초 내에 HadCM3 기후 상태 전이(표면 기온, 강수량, AOD)를 성공적으로 예측하여 빠른 DRL 훈련을 가능하게 한다.
• DRL 프레임워크는 실시간 피드백에 기반해 73개 위도 대역에 걸쳐 주입을 동적으로 조정함으로써 지역 기후 편차를 최소화하는 SAI 정책을 학습한다.
• 보상 함수는 극단적인 지역 변화를 억제하는 데 효과적이며, αP와 αT로 스케일 조정된 페널티를 통해 기후 안정성을 우선시한다.
• 사전 훈련된 인코더와 2000개의 HadCM3 롤아웃 샘플을 사용한 미세조정을 통해 복잡하고 결정론적인 기후 반응을 신뢰성 있게 에뮬레이트할 수 있다.
• 이 방법은 단순한 균일 주입 전략보다 지역 영향을 더 효과적으로 최소화하는 비균일하고 적응형 SAI 전략을 발견할 수 있도록 한다.
• HadCM3에서의 교차 검증을 통해 DRL로 학습된 정책이 물리적 일관성을 유지하고 기후 결과를 불안정하게 만들지 않음을 확인했다.