[论文解读] Efficient surrogate modeling methods for large-scale Earth system models based on machine learning techniques

Dan Lu, Daniel Ricciuto|arXiv (Cornell University)|Jan 16, 2019

demographic modeling and climate adaptation被引用 18

一句话总结

本文提出了一种基于机器学习的代理建模框架，利用奇异值分解（SVD）进行降维，并通过贝叶斯优化从仅20次昂贵的地球系统模型（ESM）模拟中训练神经网络代理模型。该方法在42,660个碳通量输出上实现了高精度——相关系数达0.93，均方误差为0.02，实现了无需重新训练即可快速、重复使用的预测，适用于新的参数或时间范围。

ABSTRACT

Improving predictive understanding of Earth system variability and change requires data-model integration. Efficient data-model integration for complex models requires surrogate modeling to reduce model evaluation time. However, building a surrogate of a large-scale Earth system model (ESM) with many output variables is computationally intensive because it involves a large number of expensive ESM simulations. In this effort, we propose an efficient surrogate method capable of using a few ESM runs to build an accurate and fast-to-evaluate surrogate system of model outputs over large spatial and temporal domains. We first use singular value decomposition to reduce the output dimensions, and then use Bayesian optimization techniques to generate an accurate neural network surrogate model based on limited ESM simulation samples. Our machine learning based surrogate methods can build and evaluate a large surrogate system of many variables quickly. Thus, whenever the quantities of interest change such as a different objective function, a new site, and a longer simulation time, we can simply extract the information of interest from the surrogate system without rebuilding new surrogates, which significantly saves computational efforts. We apply the proposed method to a regional ecosystem model to approximate the relationship between 8 model parameters and 42660 carbon flux outputs. Results indicate that using only 20 model simulations, we can build an accurate surrogate system of the 42660 variables, where the consistency between the surrogate prediction and actual model simulation is 0.93 and the mean squared error is 0.02. This highly-accurate and fast-to-evaluate surrogate system will greatly enhance the computational efficiency in data-model integration to improve predictions and advance our understanding of the Earth system.

研究动机与目标

• 通过构建快速、准确的代理模型，降低大规模地球系统模型（ESMs）中数据-模型集成的计算负担。
• 解决地球系统模型输出高维性问题，其变量数量达数万个，覆盖空间和时间域。
• 开发一种可重复使用的代理系统，支持在不重新训练的情况下快速重新评估新参数、新目标或新模拟时长。
• 实现对模型参数空间的高效探索，以提升对地球系统变异性和变化的预测理解。

提出的方法

• 应用奇异值分解（SVD）对高维ESM输出数据进行降维，以捕捉输出空间中的主导模式。
• 使用贝叶斯优化智能选择构建代理模型所需的最少ESM模拟次数。
• 在降维后的输出空间中，利用选定的模拟样本训练神经网络代理模型，确保在最小数据量下仍保持高精度。
• 构建一个单一、统一的代理系统，可针对任意输出子集或参数直接查询，无需重建。
• 利用输出数据的低秩结构，保持计算效率和在大空间-时间域中的可扩展性。
• 通过直接从预训练系统中提取相关输出，实现对代理模型的快速重新评估，适用于新目标或参数。

实验结果

研究问题

• RQ1 是否能仅从少量昂贵的ESM模拟中构建代理模型，同时在数千个输出变量上保持高精度？
• RQ2 SVD与贝叶斯优化的结合在降低计算成本的同时，能否有效保持大规模ESM中预测保真度？
• RQ3 单一代理系统在不重新训练的情况下，能在多大程度上支持多种查询（如新参数、新目标或时间范围）？
• RQ4 在仅使用有限ESM模拟数据的情况下，预测高维碳通量输出能达到何种精度？

主要发现

• 该代理模型仅使用20次ESM模拟，即在42,660个碳通量变量上实现了预测值与实际ESM输出之间0.93的相关系数。
• 代理模型预测的均方误差（MSE）为0.02，表明尽管训练数据有限，仍具有极高的预测精度。
• 该代理系统实现了快速评估与重复使用，无需重新训练即可支持新参数或目标，显著降低了计算开销。
• 基于SVD的降维方法有效捕捉了高维输出空间中的主导变异模式。
• 贝叶斯优化实现了参数空间的高效采样，最小化了构建高保真代理模型所需的ESM运行次数。
• 该方法在具有复杂多变量输出的大规模地球系统建模应用中表现出良好的可扩展性与鲁棒性。