[论文解读] A Foundation Model for the Earth System

Cristian Bodnar, Wessel P. Bruinsma+16 more|arXiv (Cornell University)|May 20, 2024

Solar and Space Plasma Dynamics被引用 35

一句话总结

Aurora 是一个1.3B参数的大气基础模型，基于超过一百万小时多样化天气与气候数据进行训练。它提供快速、高分辨率的预测，在多种场景中优于最先进的经典工具和其他深度学习模型，包括5天全球空气污染预测和10天高分辨率天气预测。

ABSTRACT

Reliable forecasts of the Earth system are crucial for human progress and safety from natural disasters. Artificial intelligence offers substantial potential to improve prediction accuracy and computational efficiency in this field, however this remains underexplored in many domains. Here we introduce Aurora, a large-scale foundation model for the Earth system trained on over a million hours of diverse data. Aurora outperforms operational forecasts for air quality, ocean waves, tropical cyclone tracks, and high-resolution weather forecasting at orders of magnitude smaller computational expense than dedicated existing systems. With the ability to fine-tune Aurora to diverse application domains at only modest computational cost, Aurora represents significant progress in making actionable Earth system predictions accessible to anyone.

研究动机与目标

• 用动机引导使用基础模型从多样化、大规模数据中学习可泛化的大气表征。
• 开发 Aurora，一个灵活的3D基础模型，用于天气和大气过程，能够处理异质输入和多分辨率。
• 证明 Aurora 能够为数据有限和极端事件的任务提供快速、准确的预测。
• 显示数据和模型规模的扩大如何提升跨数据集与任务的预测性能。

提出的方法

• 基于3D Swin Transformer 的处理器与基于 Perceiver 的编码/解码器相配合，以处理跨空间、压力层和分辨率的异质输入与输出。
• 使用涵盖 ERA5、CMCC、IFS-HR、HRES Forecasts、GFS Analysis 和 GFS Forecasts 的混合数据集预训练，目标是在32个 A100 GPU 上以6小时领先时间对150k步的下一时间步 MAE 进行最小化。
• 两阶段微调：先进行短领先时间微调，随后使用 LoRA（低秩自适应）进行长领先时间 rollout 微调。
• 通过迭代将预测结果反馈给模型，以生成不同的领先时间的预测。
• 以 CAMS 分析和 IFS-HRES 数据进行评估，评估大气化学、污染和高分辨率天气任务的性能。
• 在0.25°分辨率下对比 GraphCast 和 IFS-HRES，以基准 AIWP 模型对比传统 NWP。

实验结果

研究问题

• RQ1 一个在大规模异质数据上训练的基础模型，能否在大气化学、空气污染和高分辨率天气任务上实现运营相关的预测？
• RQ2 在多样数据集上的预训练是否提高性能和鲁棒性，尤其是在数据稀缺或极端事件情形下？
• RQ3 是否在跨分辨率和数据保真度的单一模型，能够在准确性和效率上超越专业化的传统系统？
• RQ4 模型与数据规模的扩大对预测能力和尾部性能有何影响？
• RQ5 Aurora 如何与现有的 AI 天气预测模型以及在观测和极端事件案例上的 IFS-HRES 进行比较？

主要发现

• Aurora 能在0.4°分辨率下给出5天全球空气污染预测、在0.1°分辨率下给出10天预测，并在大多数目标上显著快于 IFS，优于最先进的工具。
• Aurora 在 CAMS 分析设定中，在74%的目标上与 CAMS 预测相匹配或优于 CAMS，在95%的目标上 RMSE 落在 CAMS 的20%之内。
• 在0.1°分辨率下，Aurora 在超过12小时的领先时间上优于 IFS‑HRES，较长领先时间时 RMSE 最多下降约60%。
• 在0.25°分辨率下，Aurora 的表现持续优于 GraphCast，并在若干变量与领先时间上接近 IFS‑HRES 的表现，尤其在风速和温度方面。
• 数据多样性和模型规模提升预测性能，在对多数据集（C2/C3/C4）进行预训练时，相较于仅使用 ERA5（C1）时，尾部性能和各变量的改进更明显。
• 风暴 Ciarán 案例研究表明，Aurora 在0.1°分辨率下对风速的突发提升捕捉优于其他 AI 模型。