[論文レビュー] A Parallel Implementation of the Ensemble Kalman Filter Based on Modified Cholesky Decomposition

Elías D. Niño, Adrian Sandu+1 more|arXiv (Cornell University)|May 31, 2016

Meteorological Phenomena and Simulations参考文献 14被引用数 5

ひとこと要約

本稿では、スパースな逆背景誤差共分散行列を推定するために修正コレスキー分解を用いた並列アンサンブルカルマンフィルタ（PAR-EnKF-MC）を提案する。これにより、通信フリーの局所的解析が可能となり、スケールにおいてLETKFを上回る精度と、シリアル実装比で400倍の高速化を達成した。ドメイン分割とハイパフォーマンスコンピューティングを活用して、並列な共分散推定と解析を実現した。

ABSTRACT

This paper discusses an efficient parallel implementation of the ensemble Kalman filter based on the modified Cholesky decomposition. The proposed implementation starts with decomposing the domain into sub-domains. In each sub-domain a sparse estimation of the inverse background error covariance matrix is computed via a modified Cholesky decomposition; the estimates are computed concurrently on separate processors. The sparsity of this estimator is dictated by the conditional independence of model components for some radius of influence. Then, the assimilation step is carried out in parallel without the need of inter-processor communication. Once the local analysis states are computed, the analysis sub-domains are mapped back onto the global domain to obtain the analysis ensemble. Computational experiments are performed using the Atmospheric General Circulation Model (SPEEDY) with the T-63 resolution on the Blueridge cluster at Virginia Tech. The number of processors used in the experiments ranges from 96 to 2,048. The proposed implementation outperforms in terms of accuracy the well-known local ensemble transform Kalman filter (LETKF) for all the model variables. The computational time of the proposed implementation is similar to that of the parallel LETKF method (where no covariance estimation is performed). Finally, for the largest number of processors, the proposed parallel implementation is 400 times faster than the serial version of the proposed method.

研究の動機と目的

• 大きな影響半径に起因する誤った相関を扱えないローカルアンサンブル変換カルマンフィルタ（LETKF）の限界を克服する。
• 条件付き独立性を用いて、より正確に背景誤差共分散行列を推定することで、アンサンブルカルマンフィルタの精度を向上させる。
• 並列コンputィングを活用して、大規模な気象モデルにおけるスケーラブルでハイパフォーマンスなデータ同化を実現する。
• 解析中にプロセッサ間の同期を回避する通信を避ける並列実装を開発する。
• 修正コレスキー分解によるスパース逆共分散推定を通じて、高精度と計算効率の両立を達成する。

提案手法

• グローバルモデル領域をサブドメインに分割し、それぞれを別々のプロセッサに割り当てて独立して計算を行う。
• 各サブドメインで、アンサンブルデータを用いて局所的に逆背景誤差共分散行列を修正コレスキー分解により推定する。
• モデル成分が影響半径を超えて条件付き独立である場合に、その要素をゼロにすることで逆共分散行列のスパarsityを強制する。
• 各成分をその先行成分で線形回帰することで回帰係数（βjq）を計算し、下三角行列Tを構築する。
• 回帰の残差から誤差分散（Djj）を計算し、コレスキー分解における対角行列を形成する。
• 各サブドメインで独立に確率的EnKF形式を用いて局所的解析を実行し、結果をグローバルドメインに再マッピングする。

実験結果

リサーチクエスチョン

• RQ1 影響半径が大きい状況下でも、スパース逆共分散推定を用いた並列アンサンブルカルマンフィルタが、LETKFを上回る精度を達成できるか？
• RQ2 修正コレスキー分解による共分散推定の計算コストは、LETKFのような通信フリーの並列EnKF手法と比べてどの程度か？
• RQ3 ハイパフォーマンスコンピューティングは、アンサンブルカルマンフィルタにおける共分散推定ステップの高速化にどの程度寄与できるか？
• RQ4 1,000を超えるプロセッサ数を増加させた場合、提案手法が精度とスケーラビリティを維持できるか？
• RQ5 逆共分散行列のスパarsity構造は、解析品質を損なわずにメモリと計算負荷を削減するために効果的に活用できるか？

主な発見

• PAR-EnKF-MCの実装は、水蒸気混合比、温度、風成分を含む全モデル変数において、LETKFを上回る精度を達成した。
• 提案手法の計算時間は、共分散推定を実行しない並列LETKFとほぼ同等であり、推定ステップに起因するオーバーヘッドが小さいことを示している。
• 最大構成（2,048プロセッサ）において、シリアル版の400倍の高速化が達成された。
• 推定された逆背景誤差共分散行列は空間的に構造化された相関を示し、小さなサブドメインでは高い相関保持が見られ、大きなサブドメインでは相関が分散していた。
• 条件付き独立性に基づいて逆共分散行列のスパarsityを効果的に強制し、メモリと計算負荷を削減した。
• 合成データ生成がプロセッサID依存であるにもかかわらず、異なるプロセッサ数においても安定した性能とLETKFに対する一貫した精度向上を示した。