[논문 리뷰] A space-time parallel solver for the three-dimensional heat equation

Robert Speck, Daniel Ruprecht외 3명|JuSER (Forschungszentrum Jülich)|2013. 07. 30.

Matrix Theory and Algorithms참고 문헌 8인용 수 5

한 줄 요약

이 논문은 3차원 열 방정식에 대해 공간과 시간을 동시에 병렬화하는 해법을 제시한다. PFASST(공간 및 시간에서의 병렬 전체 근사 방법)와 공간에서 병렬 다중격자(PMG) 방법을 조합하여, 공간 병렬화의趋세에 도달한 후에도 뛰어난 강한 스케일링 성능을 달성한다. 특히, 굵은 수준의 공간 해상도를 낮추고 공간 병렬화를 줄일 경우 최적의 성능을 발휘하며, 이는 초대규모 시뮬레이션에서 시간과 공간 병렬화를 함께 설계해야 한다는 것을 보여준다.

ABSTRACT

The paper presents a combination of the time-parallel "parallel full approximation scheme in space and time" (PFASST) with a parallel multigrid method (PMG) in space, resulting in a mesh-based solver for the three-dimensional heat equation with a uniquely high degree of efficient concurrency. Parallel scaling tests are reported on the Cray XE6 machine "Monte Rosa" on up to 16,384 cores and on the IBM Blue Gene/Q system "JUQUEEN" on up to 65,536 cores. The efficacy of the combined spatial- and temporal parallelization is shown by demonstrating that using PFASST in addition to PMG significantly extends the strong-scaling limit. Implications of using spatial coarsening strategies in PFASST's multi-level hierarchy in large-scale parallel simulations are discussed.

연구 동기 및 목표

• PFASST를 통해 시간 병렬화를 도입하여 3차원 열 방정식의 공간 병렬 해법의 강한 스케일링 한계를 초월하고자 한다.
• 특히 공간 해법이 통신에 의해 제한되는 경우, 공간과 시간 병렬화의 상호작용을 연구하고자 한다.
• 공간 굵어짐 전략(감소된 자유도, 저차수 스텐실, 굵어진 시간 격자)이 공간-시간 다중격자 프레임워크 내에서 PFASST의 효율성에 미치는 영향을 평가하고자 한다.
• 초대규모 환경에서 전체 속도 향상을 극대화하는 PFASST+PMG의 최적 설정을 규명하고자 한다.
• 공간 병렬화가 이미趋세에 도달한 상황에서 시간 병렬화 방법이 강한 스케일링을 효과적으로 연장할 수 있는지 평가하고자 한다.

제안 방법

• 이 방법은 선형 다항식 방법을 사용하며, 미세 및 굵은 수준에서 각각 제4차(compact) 및 제2차 표준 스텐실을 사용해 3차원 열 방정식을 공간에 이산화한다.
• 시간 적분은 PFASST를 통해 수행되며, 이는 미세 및 굵은 수준에서 각각 시간 단계당 5개 및 3개의 SDC 노드를 사용하는 이중 수준의 공간-시간 계층을 갖는다.
• PFASST 내부의 하위 스텝으로는 음이 아닌 오일러 방법을 사용하며, 이로 생성된 선형 시스템은 각 수준에서 병렬 다중격자(PMG) 방법으로 해결된다.
• FAS(전체 근사 방법) 보정은 자유도 감소 및 공간 이산화 순서 감소를 포함한 다양한 공간 굵어짐 전략을 유연하게 허용한다.
• 각 SDC 및 PFASST 반복에 대해 잔차 임계값을 1e-10로 설정하여 상대적 최대 오차 약 1.1e-11를 달성한다.
• 시간, 공간, 공간 이산화 순서에 걸쳐 굵어짐 전략을 적용하여 다중 수준 계층을 구성한다.

실험 결과

연구 질문

• RQ1 PFASST와 PMG의 조합이 초대규모 시스템에서 3차원 열 방정식 해법의 강한 스케일링 행동에 미치는 영향은 무엇인가?
• RQ2 공간 굵어짐 전략(감소된 DOFs, 저차수 스텐실)이 PFASST에서 굵은 수준과 미세 수준의 스위프 실행 시간 비율에 미치는 영향은 무엇인가?
• RQ3 공간 병렬화에서 통신이 지배적인 경우, PFASST를 통한 시간 병렬화의 효율성은 어떻게 영향을 받는가?
• RQ4 PFASST는 공간 병렬화만으로는 도달할 수 없는 스케일링의趋세를 초월하여 강한 스케일링을 연장할 수 있는가? 어떤 조건에서 가장 효과적인가?
• RQ5 공간 해법에 더 적은 코어를 사용할 경우, 굵은 수준에서의 실행 시간 비율 향상과 대규모 실행에서의 전체 PFASST 효율성 향상은 어느 정도 이루어지는가?

주요 결과

• PFASST+PMG 해법은 Cray XE6 'Monte Rosa'에서 최대 16,384코어, IBM Blue Gene/Q 'JUQUEEN'에서 최대 65,536코어까지 강한 스케일링 성능을 보이며 초대규모에서의 확장성을 입증했다.
• 공간 해법에 더 적은 코어를 사용함으로써 굵은 수준에서의 실행 시간 비율이 크게 향상되었으며, 전체 공간 병렬화 대비 α(군데 수준 효율성 측정치)가 4배 이상 감소했다.
• 개선된 굵은 수준 효율성 덕분에 PFASST 수렴 성능이 향상되었고, 공간 해법 실행 시간이 약간 증가했음에도 불구하고 전체 속도 향상이 높아졌다.
• 공간 병렬화가 통신에 의해 제한되는 상황에서 굵은 수준의 자유도 감소가 실행 시간에 미치는 영향은 미미했으며, 이는 통신 시간이 계산 시간을 압도함을 시사한다.
• PFASST의 이론적 속도 향상 추정치는 정확했으며, JUQUEEN에서 관측된 속도 향상은 Monte Rosa보다 略적으로 높았지만, 차이가 미미했다.
• 결과적으로 시간 병렬화와 공간 병렬화가 상호의존적임을 보여주며, 특히 통신에 의해 제한되는 환경에서는 두 전략을 함께 설계해야 최적의 성능을 달성할 수 있다.