[论文解读] Moment based methods for ensemble assessment and calibration

Stephen Jewson|ArXiv.org|Sep 8, 2003

Meteorological Phenomena and Simulations参考文献 8被引用 16

一句话总结

本文使用伦敦希思罗机场一年的ECMWF数据，评估了基于矩的集合温度预报校准方法。研究发现，仅基于集合均值通过线性回归构建的概率预报在性能上优于或等同于同时使用集合均值与集合离散度的模型，结论是集合离散度对预报技巧的贡献甚微，原因在于预报不确定性方差的可预测性较低。

ABSTRACT

We describe various moment-based ensemble interpretation models for the construction of probabilistic temperature forecasts from ensembles. We apply the methods to one year of medium range ensemble forecasts and perform in and out of sample testing. Our main conclusion is that probabilistic forecasts derived from the ensemble mean using regression are just as good as those based on the ensemble mean and the ensemble spread using a more complex calibration algorithm. The explanation for this seems to be that the predictable component of the variability of the forecast uncertainty is only a small fraction of the total forecast uncertainty. Users of ensemble temperature forecasts are advised, until further evidence becomes available, to ignore the ensemble spread and build probabilistic forecasts based on the ensemble mean alone.

研究动机与目标

• 使用基于矩的统计方法评估并校准集合温度预报。
• 确定在仅使用集合均值的基础上引入集合离散度是否能提升概率预报的准确性。
• 开发一种比传统方法（如分位数直方图）更简单且更准确的校准方法。
• 通过样本内与样本外验证测试校准模型的稳健性。
• 评估集合离散度在预报温度不确定性方面的实际应用价值。

提出的方法

• 使用最小二乘线性回归建模历史集合均值与实测温度之间的关系，假设误差服从正态分布。
• 采用最大似然估计拟合预报分布的参数，以最大化观测数据的概率密度。
• 比较两种模型：一种仅使用集合均值（仅回归模型），另一种同时使用集合均值与离散度（离散度-回归模型）。
• 采用基于矩的框架估计预报分布的均值与方差，参数由历史预报-观测配对数据推导得出。
• 通过样本内与样本外测试评估模型性能与时间上的稳健性。
• 从所有数据中去除季节性均值与标准差，以降低季节性影响并提高模型平稳性。

实验结果

研究问题

• RQ1 在校准过程中是否显著提升概率温度预报准确性？
• RQ2 在样本外测试中，仅回归模型（仅使用集合均值）与离散度-回归模型的性能相比如何？
• RQ3 集合离散度在多大程度上捕捉了预报不确定性的可预测成分？
• RQ4 基于矩的校准方法能否提供一种比现有技术（如分位数直方图）更简单且更准确的替代方案？
• RQ5 校准模型参数对预报系统随时间变化的敏感性如何？

主要发现

• 仅回归模型（仅使用集合均值）在样本内与样本外测试中均表现得与或优于离散度-回归模型。
• 由集合离散度捕捉的预报不确定性可预测成分，仅占总预报不确定性的很小一部分。
• 离散度-回归模型的参数在一年的前半段与后半段之间表现出较差的稳健性，表明其因预报系统变化而存在不稳定性。
• 研究结论认为，除非有更强有力的证据表明其附加价值，否则用户不应依赖集合离散度进行概率预报。
• 作者主张在进一步验证离散度的实用性之前，应优先采用仅基于集合均值的更简单模型。
• 预报系统中的非平稳性可能限制长期校准模型的可靠性，提示需要并行的预报系统以确保训练数据的稳定性。