[論文レビュー] Stratospheric Aerosol Injection as a Deep Reinforcement Learning Problem

Christian Schroeder de Witt, Thomas Hornigold|arXiv (Cornell University)|May 17, 2019

Climate Change and Geoengineering参考文献 25被引用数 7

ひとこと要約

本稿では、サンプル効率の良い学習を可能にするために、HadCM3一般循環モデル（GCM）の深層学習エミュレータを用いて、低次元化された状態空間における強化学習（DRL）を用いて、成層圏エアロゾル注入（SAI）を高次元的なマルコフ意思決定過程（MDP）として扱う手法を提案する。主な貢献は、地域的気候歪みを最小化するためのSAI政策最適化に、深層強化学習（DRL）を気候科学分野で初めて応用した点である。

ABSTRACT

As global greenhouse gas emissions continue to rise, the use of stratospheric aerosol injection (SAI), a form of solar geoengineering, is increasingly considered in order to artificially mitigate climate change effects. However, initial research in simulation suggests that naive SAI can have catastrophic regional consequences, which may induce serious geostrategic conflicts. Current geo-engineering research treats SAI control in low-dimensional approximation only. We suggest treating SAI as a high-dimensional control problem, with policies trained according to a context-sensitive reward function within the Deep Reinforcement Learning (DRL) paradigm. In order to facilitate training in simulation, we suggest to emulate HadCM3, a widely used General Circulation Model, using deep learning techniques. We believe this is the first application of DRL to the climate sciences.

研究の動機と目的

• 気候緩和を目的とした、高次元的かつ文脈に依存する成層圏エアロゾル注入（SAI）の制御問題に対処すること。
• 気候シミュレーションにおける深層強化学習（DRL）のサンプル非効率性を克服するため、HadCM3一般循環モデル（GCM）の高速かつ高精度なエミュレータを訓練すること。
• 地域的気候歪みを最小化する時間変化型の最適SAI注入ポリシーを学習するDRLフレームワークの開発。
• モンスーンのシフトや終了効果といった地域感受性を考慮した、強力なSAIポリシー発見を可能にすること。
• 実世界への導入前に、スケーラブルで物理的に整合性のある方法で地球工学戦略を評価すること。

提案手法

• 成層圏エアロゾル注入（SAI）の制御を、表面温度、海氷、海洋熱含量、エアロゾル光学濃度（AOD）グリッドからなる状態空間を持つ高次元的マルコフ意思決定過程（MDP）として扱う。
• 畳み込みエンコーダ・デコーダニューラルネットワーク（UNetにインspired）を用いて、HadCM3 GCM出力をエミュレートし、ミリ秒単位で次状態の気候変数を予測する。
• エンコーダをImageNetで事前学習し、αk=1.5のディリクレ分布から抽出されたエアロゾル分布（4ρまで制限）を用いた2000件のHadCM3ロールアウトサンプルでファインチューニングする。
• 大規模な共同行動空間を管理するため、離散化された行動空間（73の緯度帯に10個のバケット）と因子化された価値関数を用いたオフポリシー深層Q学習を採用する。
• 前産業革命期の地域的降水量および気温からの逸脱をペナルティ化する文脈に依存する報酬関数を定義し、ハイパーパrameter αP と αT で重み付けする。
• 物理的整合性と耐性を確認するため、DRLで学習したポリシーを完全なHadCM3シミュレーションでクロスバリデーションする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、高次元的気候制御設定における成層圏エアロゾル注入（SAI）ポリシーの最適化に効果的に応用可能か？
• RQ2 HadCM3のような完全なGCMの高速かつ高精度なエミュレータをどのように訓練すれば、気候干渉のためのサンプル効率の良いDRL学習を可能にするか？
• RQ3 SAI導入におけるグローバル冷却と地域的気候安定性のバランスを最適化する報酬関数の構造は何か？
• RQ4 時間変化型かつ空間的に不均一なSAI注入戦略は、単純な均一注入と比較して、地域的気候歪みをどれほど効果的に低減できるか？
• RQ5 DRLは、モンスーンのシフトや急激な終了温暖化といった深刻な地域的影響を避ける非自明で適応的なSAIポリシーを発見できるか？

主な発見

• 提示されたGCMエミュレータは、ミリ秒単位でHadCM3気候状態遷移（表面温度、降水量、AOD）を正確に予測でき、高速なDRL学習を可能にした。
• DRLフレームワークは、リアルタイムフィードバックに基づき73の緯度帯にわたる注入を動的に調整することで、地域的気候変動を最小化するSAIポリシーを学習した。
• 報酬関数は極端な地域的変化を効果的に抑制し、αP と αT を用いて気候安定性を優先するようにペナルティをスケーリングした。
• 事前学習済みエンコーダと2000件のHadCM3ロールアウトサンプルでのファインチューニングにより、複雑で決定論的な気候反応を信頼性高くエミュレートできた。
• 本手法により、地域的影響を最小限に抑える均一でない、適応型のSAI戦略が発見可能となり、単純な均一注入戦略を上回る性能を示した。
• HadCM3でのクロスバリデーションにより、DRLで学習したポリシーが物理的整合性を保ち、気候の不安定化を避けることが確認された。