[论文解读] A Parallel Implementation of the Ensemble Kalman Filter Based on Modified Cholesky Decomposition

Elías D. Niño, Adrian Sandu+1 more|arXiv (Cornell University)|May 31, 2016

Meteorological Phenomena and Simulations参考文献 14被引用 5

一句话总结

本文提出一种并行集合卡尔曼滤波器（PAR-EnKF-MC），采用改进的Cholesky分解来估计稀疏的逆背景误差协方差矩阵，实现高效、无需通信的局部分析。在大规模计算中，其精度高于LETKF，且相比串行实现提速400倍，通过域分解和高性能计算实现并行协方差估计与分析。

ABSTRACT

This paper discusses an efficient parallel implementation of the ensemble Kalman filter based on the modified Cholesky decomposition. The proposed implementation starts with decomposing the domain into sub-domains. In each sub-domain a sparse estimation of the inverse background error covariance matrix is computed via a modified Cholesky decomposition; the estimates are computed concurrently on separate processors. The sparsity of this estimator is dictated by the conditional independence of model components for some radius of influence. Then, the assimilation step is carried out in parallel without the need of inter-processor communication. Once the local analysis states are computed, the analysis sub-domains are mapped back onto the global domain to obtain the analysis ensemble. Computational experiments are performed using the Atmospheric General Circulation Model (SPEEDY) with the T-63 resolution on the Blueridge cluster at Virginia Tech. The number of processors used in the experiments ranges from 96 to 2,048. The proposed implementation outperforms in terms of accuracy the well-known local ensemble transform Kalman filter (LETKF) for all the model variables. The computational time of the proposed implementation is similar to that of the parallel LETKF method (where no covariance estimation is performed). Finally, for the largest number of processors, the proposed parallel implementation is 400 times faster than the serial version of the proposed method.

研究动机与目标

• 解决局部集合变换卡尔曼滤波器（LETKF）在大影响半径下处理虚假相关性的问题。
• 通过利用条件独立性，更准确估计背景误差协方差矩阵，提升集合卡尔曼滤波的精度。
• 通过利用并行计算，实现可扩展的高性能数据同化，适用于大规模大气模型。
• 开发一种避免通信的并行实现，在分析过程中避免处理器间的同步。
• 通过改进Cholesky分解实现稀疏逆协方差估计，同时实现高精度与计算效率。

提出的方法

• 将全球模型区域划分为子区域，每个子区域分配给一个独立处理器进行独立计算。
• 在每个子区域中，利用集合数据通过改进Cholesky分解估计局部逆背景误差协方差矩阵。
• 通过在影响半径外设置条件独立的模型分量为零，强制逆协方差矩阵的稀疏性。
• 利用每个分量对其前驱分量的线性回归计算回归系数（βjq），并构建下三角矩阵T。
• 从回归残差中计算误差方差（Djj），构成Cholesky分解中的对角矩阵。
• 在每个子区域中独立使用随机EnKF公式进行局部分析，然后将结果映射回全局区域。

实验结果

研究问题

• RQ1 在大影响半径下，采用稀疏逆协方差估计的并行集合卡尔曼滤波器是否能优于LETKF的精度？
• RQ2 与LETKF等无需通信的并行EnKF方法相比，通过改进Cholesky分解进行协方差估计的计算成本如何？
• RQ3 高性能计算在多大程度上能加速集合卡尔曼滤波中协方差估计步骤？
• RQ4 当处理器数量超过1,000时，所提出方法是否仍能保持精度与可扩展性？
• RQ5 逆协方差矩阵的稀疏结构能否被有效利用，在不牺牲分析质量的前提下减少内存与计算开销？

主要发现

• PAR-EnKF-MC在所有模型变量（包括比湿、温度和风分量）上的精度均优于LETKF。
• 所提方法的计算时间与不执行协方差估计的并行LETKF相当，仅相差数秒，表明估计步骤的开销极低。
• 在最大配置（2,048个处理器）下，该并行实现相比同方法的串行版本实现了400倍的加速。
• 估计的逆背景误差协方差矩阵表现出空间结构化的相关性，小子区域中相关性持久，而大子区域中则迅速衰减。
• 该方法成功基于条件独立性在逆协方差矩阵中实现稀疏化，显著降低了内存与计算负载。
• 该实现对不同处理器数量均表现出鲁棒性，在性能与精度上持续优于LETKF，尽管合成数据生成依赖于处理器ID。