[논문 리뷰] ParaDiag: parallel-in-time algorithms based on the diagonalization technique

Martin J. Gander, Jun Liu외 3명|arXiv (Cornell University)|2020. 05. 19.

Numerical methods for differential equations참고 문헌 25인용 수 15

한 줄 요약

이 논문은 시간에 의존하는 PDE를 해결하기 위한 행렬 대각화 기반의 병렬 시간 알고리즘인 ParaDiag를 소개한다. 두 가지 유형을 제안한다: ParaDiag-I(변동 또는 하이브리드 시간 단계를 사용하는 직접 해법)와 ParaDiag-II(α-순환 조절자로 조절하는 반복 해법), 안정성 조건 하에서 단계별 및 다단계 시간 적분기법 모두에 대해 선형 수렴을 증명한다.

ABSTRACT

In 2008, Maday and Ronquist introduced an interesting new approach for the direct parallel-in-time (PinT) solution of time-dependent PDEs. The idea is to diagonalize the time stepping matrix, keeping the matrices for the space discretization unchanged, and then to solve all time steps in parallel. Since then, several variants appeared, and we call these closely related algorithms ParaDiag algorithms. ParaDiagalgorithms in the literature can be classified into two groups: ParaDiag-I: direct standalone solvers, ParaDiag-II: iterative solvers. We will explain the basic features of each group in this note. To have concrete examples, we will introduce ParaDiag-I and ParaDiag-II for the advection-diffusion equation. We will also introduce ParaDiag-II for the wave equation and an optimal control problem for the wave equation. We could have used the advection-diffusion equation as well to illustrate ParaDiag-II, but wave equations are known to cause problems for certain PinT algorithms and thus constitute an especially interesting example for which ParaDiag algorithms were tested. We show the main known theoretical results in each case, and also provide Matlab codes for testing. The goal of the Matlab codes is to help the interested reader understand the key features of the ParaDiag algorithms, without intention to be highly tuned for efficiency and/or low memory use. We also provide speedup measurements of ParaDiag algorithms for a 2D linear advection-diffusion equation. These results are obtained on the Tianhe-1 supercomputer in China and the SIUE Campus Cluster in the US and and we compare these results to the performance of parareal and MGRiT, two widely used PinT algorithms.

연구 동기 및 목표

• 시간에 의존하는 PDE 해법에서의 순차적 시간 단계의 병목 현상을 해결하기 위해 행렬 대각화를 활용한 새로운 병렬 시간 알고리즘의 개발.
• 기존의 병렬 시간 방법들을 ParaDiag 프레임워크 내에서 분류하고 통합하여, 직접적(ParaDiag-I)과 반복적(ParaDiag-II) 유형으로 구분.
• α-순환 조절자를 이용한 ParaDiag-II에 대한 일반적인 수렴 이론 수립으로, 단계별 및 다단계 시간 적분기법 모두에 적용 가능.
• 선형 운동 방정식 및 파동 방정식을 포함한 최적 제어 문제에 대한 실용적 Matlab 구현 및 성능 벤치마크 제공.
• Tianhe-1 및 SIUE 캠퍼스 클러스터와 같은 고성능 시스템에서 기존 알고리즘인 parareal 및 MGRiT와의 성능 비교.

제안 방법

• ParaDiag-I는 선형 다단계 시간 적분기법에서 유도된 시간 스텝 행렬 $ B = B_2^{-1}B_1 $을 직접 대각화하여 모든 시간 단계를 동시에 해결할 수 있도록 한다.
• ParaDiag-II는 전체-동시 시스템 $ \bm{A}\bm{u} = \bm{b} $에 대해 α-순환 블록 행렬 $ \bm{P}_\beta $를 조절자로 사용하여, 정적 또는 카일로프 부분공간 방법을 통한 반복적 해법을 가능하게 한다.
• 조절자 $ \bm{P}_\beta $는 시간 적분기법 행렬 $ B_1, B_2 $에서 유도된 스트랑그 유형의 α-순환 행렬 $ C_1^{(\beta)}, C_2^{(\beta)} $로 구성되며, $ \beta \in (0,1] $은 조정 파라미터이다.
• ParaDiag-II의 경우 반복식 $ \bm{P}_\alpha \Delta\bm{u}^k = \bm{r}^k $를 사용하며, 여기서 $ \bm{r}^k = \bm{b} - \bm{A}\bm{u}^k $ 이고, $ \bm{P}_\alpha^{-1}\bm{A} $의 스펙트럼 성질을 통해 수렴성을 분석한다.
• 이론적 수렴은 $ (I_t \otimes P) $ 변환을 통해 증명되며, 여기서 $ P $는 공간 연산자를 대각화하고, 안정성 조건 하에서 선형 수렴을 보여준다.
• 단계별 방법의 경우 $ \alpha \in (0, \frac{1}{2}) $ 이면 수렴 보장이 되며, 다단계 방법의 경우 $ \alpha \in (0, \frac{1}{c}) $ 이면 수렴 보장이 되며, 여기서 $ c \geq 1 $은 방법의 안정성에 따라 달라진다.

실험 결과

연구 질문

• RQ1 행렬 대각화를 활용하여 순차적 시간 스텝을 우회하는 효율적인 직접 해법을 시간에 의존하는 PDE에 적용할 수 있는가?
• RQ2 일반적인 시간 적분기법에 대해 반복적 병렬 시간 해법의 수렴을 이론적으로 보장할 수 있는가?
• RQ3 α-순환 조절자가 포물형 및 쌍곡형 문제 모두에 대해 안정적이고 신속한 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 실제 PDE 문제에서 기존 PinT 방법인 parareal 및 MGRiT와 비교하여 ParaDiag 알고리즘의 성능은 어떠한가?
• RQ5 ParaDiag 프레임워크는 이론적 수렴 보장을 갖는 파동 방정식 최적 제어 문제와 같은 복잡한 문제로 확장될 수 있는가?

주요 결과

• ParaDiag-I는 시간 스텝 행렬의 대각화를 통해 직접 병렬 해법을 구현하며, 하이브리드 시간 이산화 및 균일한 단계 크기의 새로운 진전을 이룬다.
• ParaDiag-II는 정적 반복식 $ \bm{P}_\alpha \Delta\bm{u}^k = \bm{r}^k $를 사용하며, $ \alpha \in (0, \frac{1}{2}) $ 이면 단계별 시간 적분기법에 대해 선형 수렴을 보이며, 수렴 속도는 $ \frac{\alpha}{1-\alpha} $ 이하로 제한된다.
• 다단계 시간 적분기법의 경우 $ \alpha \in (0, \frac{1}{c}) $ 이면 선형 수렴 보장이 되며, 오차 감소는 $ \frac{c\alpha}{1 - c\alpha} $ 이하로 제한된다.
• 이론적 분석 결과, ParaDiag-II의 수렴은 공간 연산자의 대각화 가능성과 시간 적분기법의 안정성에 따라 달라지며, 문제 크기와 무관한 균일한 상한이 존재한다.
• Tianhe-1 및 SIUE 캠퍼스 클러스터에서의 속도 향상 측정 결과, 2D 선형 운동-확산 방정식에서 parareal 및 MGRiT와 경쟁 가능한 성능을 보였다.
• 프레임워크는 파동 방정식 및 최적 제어 문제로 확장되었으며, 카일로프 변형은 안정적인 수렴을 보였고, 다양한 시간 적분기법 간의 이론이 통합되었다.