[論文レビュー] Efficient surrogate modeling methods for large-scale Earth system models based on machine learning techniques

Dan Lu, Daniel Ricciuto|arXiv (Cornell University)|Jan 16, 2019

demographic modeling and climate adaptation被引用数 18

ひとこと要約

本論文は、次元削減に特異値分解（SVD）を用い、ベイズ最適化により20回の高コストな地球システムモデル（ESM）シミュレーションからのみニューラルネットワークの代理モデルを学習する機械学習ベースの代理モデルフレームワークを提案する。この手法は、42,660個の炭素フラックス出力において、0.93の相関係数と0.02の平均二乗誤差を達成し、再訓練なしに新しいパラメータや時間枠に対して高速で再利用可能な予測を可能にする高精度な結果を得た。

ABSTRACT

Improving predictive understanding of Earth system variability and change requires data-model integration. Efficient data-model integration for complex models requires surrogate modeling to reduce model evaluation time. However, building a surrogate of a large-scale Earth system model (ESM) with many output variables is computationally intensive because it involves a large number of expensive ESM simulations. In this effort, we propose an efficient surrogate method capable of using a few ESM runs to build an accurate and fast-to-evaluate surrogate system of model outputs over large spatial and temporal domains. We first use singular value decomposition to reduce the output dimensions, and then use Bayesian optimization techniques to generate an accurate neural network surrogate model based on limited ESM simulation samples. Our machine learning based surrogate methods can build and evaluate a large surrogate system of many variables quickly. Thus, whenever the quantities of interest change such as a different objective function, a new site, and a longer simulation time, we can simply extract the information of interest from the surrogate system without rebuilding new surrogates, which significantly saves computational efforts. We apply the proposed method to a regional ecosystem model to approximate the relationship between 8 model parameters and 42660 carbon flux outputs. Results indicate that using only 20 model simulations, we can build an accurate surrogate system of the 42660 variables, where the consistency between the surrogate prediction and actual model simulation is 0.93 and the mean squared error is 0.02. This highly-accurate and fast-to-evaluate surrogate system will greatly enhance the computational efficiency in data-model integration to improve predictions and advance our understanding of the Earth system.

研究の動機と目的

• 大規模な地球システムモデル（ESM）におけるデータ-モデル統合の計算負担を軽減するため、高速かつ高精度な代理モデルを構築すること。
• 空間的・時間的ドメインにわたる数万の変数を含む高次元ESM出力の課題に対処すること。
• 再トレーニングなしに新しいパラメータ、目的、またはシミュレーション期間に対して迅速に再評価可能な再利用可能な代理モデルシステムを開発すること。
• 地球システムの変動と変化に関する予測的理解の向上を図るため、モデルのパrameter空間を効率的に探索可能にするための支援をすること。

提案手法

• 高次元ESM出力データの次元削減のため、特異値分解（SVD）を適用し、出力空間内の主要なパターンを捉える。
• ベイズ最適化を用いて、代理モデルの学習に必要な最小限のESMシミュレーションを知的に選択する。
• 選択されたシミュレーションサンプルを用いて、次元削減済みの出力空間上でニューラルネットワークの代理モデルを学習し、最小限のデータで高精度を確保する。
• 再構築なしに、任意の出力またはパラメータのサブセットに対してクエリ可能な、単一で統合された代理モデルシステムを構築する。
• 出力データの低ランク構造を活用して、大規模な空間的・時間的ドメインにおいても計算効率とスケーラビリティを維持する。
• 事前にトレーニングされたシステムから直接関連する出力を抽出することで、新しい目的やパラメータに対する代理モデルの迅速な再評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 少数の高コストなESMシミュレーションからのみ、数千の出力変数にわたる高精度な代理モデルを構築できるか？
• RQ2 SVDとベイズ最適化の組み合わせは、大規模ESMにおいて計算コストを削減しつつも、予測の正確性を保持するのにどの程度有効か？
• RQ3 1つの代理モデルシステムが、再トレーニングなしに新しいパラメータ、目的、または時間枠の複数のクエリをどの程度サポートできるか？
• RQ4 限られたESMシミュレーションデータを用いて、高次元の炭素フラックス出力をどの程度の精度で予測できるか？

主な発見

• 20回のESMシミュレーションのみを用いて、42,660個の炭素フラックス変数について、予測値と実際のESM出力との間に相関係数0.93を達成した。
• 代理モデルの予測の平均二乗誤差（MSE）は0.02であり、限られたトレーニングデータにもかかわらず高い予測精度を示した。
• 再トレーニングなしに新しいパラメータや目的に対して迅速な評価と再利用が可能であり、計算オーバーヘッドを顕著に低減した。
• SVDに基づく次元削減は、高次元出力空間内の主要な変動モードを効果的に捉えていた。
• ベイズ最適化により、高精度な代理モデル構築に必要なESM実行回数を最小限に抑えるパrameter空間の効率的サンプリングが可能だった。
• 複雑な多変数出力を伴う大規模な地球システムモデリング応用において、本手法はスケーラビリティと頑健性を示した。