[논문 리뷰] A Parallel Implementation of the Ensemble Kalman Filter Based on Modified Cholesky Decomposition

Elías D. Niño, Adrian Sandu외 1명|arXiv (Cornell University)|2016. 05. 31.

Meteorological Phenomena and Simulations참고 문헌 14인용 수 5

한 줄 요약

이 논문은 수정 콜리지 분해를 사용하여 희소 역 배경 오차 공분산 행렬을 추정하는 병렬 앙상블 칼만 필터(PAR-EnKF-MC)를 제안한다. 이는 효율적이고 통신이 없는 국소 분석을 가능하게 한다. 규모가 큰 경우 LETKF보다 높은 정확도를 달성하고, 순차적 구현 대비 400배 빠른 속도 향상을 이룬다. 도메인 분할과 고성능 계산을 통해 병렬 공분산 추정 및 분석을 실현한다.

ABSTRACT

This paper discusses an efficient parallel implementation of the ensemble Kalman filter based on the modified Cholesky decomposition. The proposed implementation starts with decomposing the domain into sub-domains. In each sub-domain a sparse estimation of the inverse background error covariance matrix is computed via a modified Cholesky decomposition; the estimates are computed concurrently on separate processors. The sparsity of this estimator is dictated by the conditional independence of model components for some radius of influence. Then, the assimilation step is carried out in parallel without the need of inter-processor communication. Once the local analysis states are computed, the analysis sub-domains are mapped back onto the global domain to obtain the analysis ensemble. Computational experiments are performed using the Atmospheric General Circulation Model (SPEEDY) with the T-63 resolution on the Blueridge cluster at Virginia Tech. The number of processors used in the experiments ranges from 96 to 2,048. The proposed implementation outperforms in terms of accuracy the well-known local ensemble transform Kalman filter (LETKF) for all the model variables. The computational time of the proposed implementation is similar to that of the parallel LETKF method (where no covariance estimation is performed). Finally, for the largest number of processors, the proposed parallel implementation is 400 times faster than the serial version of the proposed method.

연구 동기 및 목표

• 큰 영향 반경을 가진 경우 국소 앙성전환 칼만 필터(LETKF)가 유사 상관관계를 다루는 데에 한계가 있음을 해결한다.
• 조건부 독립성을 활용해 배경 오차 공분산 행렬을 보다 정확히 추정함으로써 앙성 칼만 필터링의 정확도를 향상시킨다.
• 병렬 컴퓨팅을 활용해 대규모 대기 모델에 대한 확장 가능한 고성능 자료 융합을 실현한다.
• 분석 중에 프로세서 간 동기화를 피하는 통신 회피형 병렬 구현을 개발한다.
• 수정 콜리지 분해를 통한 희소 역 공분산 추정을 통해 높은 정확도와 계산 효율성을 동시에 달성한다.

제안 방법

• 글로벌 모델 도메인을 하위 도메인으로 분할하고, 각 도메인을 별도의 프로세서에 할당하여 독립적으로 계산한다.
• 앙상블 데이터를 사용해 각 하위 도메인 내에서 국소적으로 역 배경 오차 공분산 행렬을 추정하기 위해 수정 콜리지 분해를 적용한다.
• 모델 요소들이 영향 반경을 초과해 조건부 독립일 경우 항목을 0으로 설정함으로써 역 공분산 행렬의 희소성을 강제한다.
• 각 성분을 이전 성분들에 대한 선형 회귀로 계산하여 회귀 계수(βjq)를 구하고, 하삼각 행렬 T를 구성한다.
• 회귀 잔차에서 오차 분산(Djj)을 계산하여 콜리지 분해의 대각 행렬을 형성한다.
• 각 하위 도메인에서 독립적으로 스트로스틱 EnKF 공식을 사용해 국소 분석을 수행한 후 결과를 글로벌 도메인으로 다시 매핑한다.

실험 결과

연구 질문

• RQ1 희소 역 공분산 추정을 갖춘 병렬 앙성 칼만 필터가 큰 영향 반경 조건에서 LETKF를 정확도 면에서 능가할 수 있는가?
• RQ2 수정 콜리지 분해를 통한 공분산 추정의 계산 비용은 LETKF와 같은 통신이 없는 병렬 EnKF 방법과 비교해 어떻게 되는가?
• RQ3 고성능 컴퓨팅은 앙성 칼만 필터링의 공분산 추정 단계를 얼마나 가속화할 수 있는가?
• RQ4 1,000개 이상의 프로세서로 증가시킬 경우 제안된 방법이 정확도와 확장성을 유지하는가?
• RQ5 역 공분산 행렬의 희소성 구조는 분석 품질을 훼손하지 않고 메모리와 계산을 줄이는 데 효과적으로 활용될 수 있는가?

주요 결과

• PAR-EnKF-MC의 구현은 특정 습도, 온도, 바람 성분을 포함한 모든 모델 변수에서 LETKF보다 정확도가 높다.
• 제안된 방법의 계산 시간은 통신이 없는 병렬 LETKF와 몇 초 이내로 근접해 있어 추정 단계의 오버헤드가 낮음을 시사한다.
• 가장 큰 구성(2,048개 프로세서)에서 병렬 구현은 동일한 방법의 순차적 버전 대비 400배 빠른 성능 향상을 달성했다.
• 추정된 역 배경 오차 공분산 행렬은 공간적으로 구조화된 상관관계를 보이며, 작은 하위 도메인에서는 높은 상관관계 유지가 관찰되고, 더 큰 도메인에서는 상관관계가 분산된다.
• 조건부 독립 기반으로 역 공분산 행렬의 희소성을 성공적으로 강제하여 메모리 및 계산 부담을 감소시켰다.
• 합성 데이터 생성이 프로세서 ID에 의존함에도 불구하고, 다양한 프로세서 수에서 일관된 성능과 LETKF 대비 정확도 향상이 유지되어 구현이 강건함을 입증했다.