[논문 리뷰] A parallel implementation of a diagonalization-based parallel-in-time integrator.

Gayatri Caklovic, Robert Speck외 1명|arXiv (Cornell University)|2021. 03. 23.

Numerical methods for differential equations참고 문헌 29인용 수 4

한 줄 요약

이 논문은 적응형 $\alpha$-순환 조절자를 사용한 대각화 기반 시간에 평행인 통합 방법의 공간 및 이重으로 시간에 평행인 오픈소스 구현을 제시한다. 고차수의 콜로케이션을 통한 확장으로 시간 평행성의 향상을 이루었으며, 런타임 파rameter 적응을 통해 수렴성과 효율성을 향상시켰고, 두 가지 테스트 문제에서 강력한 성능 스케일링을 입증하였다.

ABSTRACT

We present and analyze a parallel implementation of a parallel-in-time method based on $\alpha$-circulant preconditioned Richardson iterations. While there are a lot of papers exploring this new class of single-level, time-parallel integrators from many perspectives, performance results of actual parallel runs are still missing. This leaves a critical gap, because the efficiency and applicability heavily rely on the actual parallel performance, with only limited guidance from theoretical considerations. Also, many challenges like selecting good parameters, finding suitable communication strategies, and performing a fair comparison to sequential time-stepping methods can be easily missed. In this paper, we first extend the original idea by using a collocation method of arbitrary order, which adds another level of parallelization in time. We derive an adaptive strategy to select a new $\alpha$-circulant preconditioner for each iteration during runtime for balancing convergence rates, round-off errors and inexactness in the individual time-steps. After addressing these more theoretical challenges, we present an open-source space- and doubly-time-parallel implementation and evaluate its performance for two different test problems.

연구 동기 및 목표

• 특히 단일 레벨의 대각화 기반 통합 방법에 대한 경험적 성능 평가의 격차를 메우기 위해.
• 시간 평행 계산에서의 실용적 과제, 즉 파rameter 선택, 통신 전략, 순차적 시간 스텝과의 공정한 비교를 해결하기 위해.
• 추가적인 시간 평행성 수준을 도입하기 위해 원래 방법을 고차수 콜로케이션 방법으로 확장하기 위해.
• 수렴성, 반올림 오차, 시간 스텝 해법의 비정확성 간 균형을 이루기 위해 반복마다 $\alpha$-순환 조절자를 적응적으로 선택하는 전략을 개발하고 구현하기 위해.
• 재현 가능한 성능 평가와 더 넓은 적용 가능성을 위해 생산 수준의 오픈소스 구현을 제공하기 위해.

제안 방법

• 이 방법은 시간 암시적 시스템을 해결하기 위해 $\alpha$-순환 조절자가 적용된 리치어드 반복을 사용하는 대각화 기반 시간 평행 통합 방법을 채택한다.
• 시간 평행성 향상을 위해 임의의 차수의 콜로케이션 방법을 통합하여 다수의 시간 스텝을 동시에 처리할 수 있도록 한다.
• 수렴 행동, 반올림 고려사항, 시간 스텝 해법의 비정확성에 기반해 반복마다 $\alpha$-순환 조절자를 적응적으로 선택하는 전략을 적용한다.
• 조절자 적응 전략은 런타임 동안 수렴 속도, 수치 정확도, 계산 비용 간 균형을 유지한다.
• 구현은 공간 및 시간 모두에서 완전히 평행적이며, 분산 및 공유 메모리 평행 처리를 위해 MPI와 OpenMP를 활용한다.
• 프레임워크는 재현 가능성을 보장하고 커뮤니티의 채택 및 벤치마킹을 촉진하기 위해 오픈소스로 제공된다.

실험 결과

연구 질문

• RQ1 문제 크기와 프로세서 수가 증가함에 따라 대각화 기반 시간 평행 통합 방법의 성능는 어떻게 스케일링되는가?
• RQ2 고차수 콜로케이션을 사용할 경우 시간 평행 통합 방법의 수렴성과 평행 효율성에 어떤 영향을 미치는가?
• RQ3 런타임 중 수렴성, 반올림 오차, 비정확성 간 균형을 이루기 위해 $\alpha$-순환 조절자를 적응적으로 선택하는 전략은 얼마나 효과적인가?
• RQ4 벽시계 시간과 확장성 측면에서 기존 순차적 시간 스텝과 비교해 이 방법은 어떻게 성능을 내는가?
• RQ5 실제로 최적의 성능를 얻기 위해 어떤 통신 전략과 파rameter 선택이 필요한가?

주요 결과

• 적응형 $\alpha$-순환 조절자 전략은 수렴 속도를 크게 향상시키며, 수치 안정성을 유지하고 반올림 오차를 감소시킨다.
• 고차수 콜로케이션의 통합은 추가적인 시간 평행성 수준을 제공하여 전체 효율성과 확장성 향상에 기여한다.
• 공개된 오픈소스 구현은 대규모 시스템에서 강력한 스케일링 행동을 보이며, 문제 크기가 클수록 성능 향상이 증가한다.
• 특히 큰 시간 영역 문제에서는 순차적 시간 스텝에 비해 의미 있는 스피드업을 달성한다.
• 성능 평가 결과에서 통신 오버헤드와 파arameter 튜닝은 실제 효율성에 영향을 미치는 핵심 요소임을 확인하였다.
• 이론적 수렴 성질만으로는 실제 성능을 예측하기 부족하며, 경험적 평가의 필요성을 확인하였다.