[논문 리뷰] PAMPAC: A Parallel Adaptive Method for Pseudo-Arclength Continuation

D. A. Aruliah, Lennaert van Veen외 1명|arXiv (Cornell University)|2013. 12. 12.

Parallel Computing and Optimization Techniques참고 문헌 14인용 수 3

한 줄 요약

PAMPAC는 다양한 단계 크기로 동시에 여러 예측-수정 순서를 계산함으로써 고차원 비선형 시스템에서 수렴 속도를 가속화하는 병렬 적응형 알고리즘이다. 중간 수정 반복 결과를 재사용하여 새로운 예측을 시드로 삼고, 중복 계산을 활용함으로써 39개의 CPU 클러스터에서 최대 3배의 속도 향상을 달성하였으며, 비용이 많이 드는 뉴턴-크리로프 해법에서 실패한 수정 단계로 인한 시간 낭비를 크게 줄였다.

ABSTRACT

Pseudo-arclength continuation is a well-established method for generating a numerical curve approximating the solution of an underdetermined system of nonlinear equations. It is an inherently sequential predictor-corrector method in which new approximate solutions are extrapolated from previously converged results and then iteratively refined. Convergence of the iterative corrections is guaranteed only for sufficiently small prediction steps. In high-dimensional systems, corrector steps are extremely costly to compute and the prediction step-length must be adapted carefully to avoid failed steps or unnecessarily slow progress. We describe a parallel method for adapting the step-length employing several predictor-corrector sequences of different step lengths computed concurrently. In addition, the algorithm permits intermediate results of unconverged correction sequences to seed new predictions. This strategy results in an aggressive optimization of the step length at the cost of redundancy in the concurrent computation. We present two examples of convoluted solution curves of high-dimensional systems showing that speed-up by a factor of two can be attained on a multi-core CPU while a factor of three is attainable on a small cluster.

연구 동기 및 목표

• 고차원 시스템에서 계산 비용이 많이 드는 실패한 수정 반복 단계로 인해 발생하는 의사-호르비츠 연속의 성능 저하 문제를 해결하기 위해.
• 비수렴 예측 단계에서 낭비되는 계산을 최소화하여 수치 연속의 월클럭 시간을 단축하기 위해.
• 다양한 단계 크기를 가진 병행된 여러 예측-수정 순서를 계산하여 공격적인 단계 크기 적응을 가능하게 하기 위해.
• 중간 수정 반복 결과를 새로운 예측의 시드로 활용하여 수렴을 기다리지 않고도 효율성을 향상시키기 위해.
• 비용이 많이 드는 선형 해법을 수반하는 실제 PDE 기반 연속 문제에서의 실용적 속도 향상을 입증하기 위해.

제안 방법

• 알고리즘은 트리 구조를 사용하여 병행 계산을 관리하는 방식으로, 서로 다른 단계 크기를 가진 여러 예측-수정 순서를 동시에 계산한다.
• 재귀 전략을 적용하여 한 순서의 중간에 도달한 수렴하지 않은 수정 반복 결과를 다른 순서의 새로운 예측 단계에 시드로 활용한다.
• 단계 크기 적응은 수렴 행동에 의해 지시된다: 성공한 순서는 향후 단계 크기 선택에 영향을 주며, 실패한 순서는 단계 크기 감소를 유도한다.
• 각 수정 반복이 계산적으로 비용이 많이 드는 시스템(예: GMRES를 사용하는 뉴턴-크리로프 해법)을 대상으로 설계되었으며, 통신 비용은 무시 가능하다.
• 곡선 추적 안정성을 유지하기 위해 의사-호르비츠 매개변수화를 사용하고, 예측 단계가 해의 다양체에 가까이 유지되도록 보장한다.
• MPI를 사용한 프로세스 간 통신을 지원하는 소프트웨어 라이브러리(PAMPAC)로 구현되었으며, 다중 코어 CPU 및 소규모 클러스터를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 단계 크기를 가진 병행된 여러 예측-수정 순서 실행이 고차원 시스템에서 의사-호르비츠 연속의 월클럭 시간을 줄일 수 있는가?
• RQ2 수렴하지 않은 중간 수정 반복 결과를 얼마나 효과적으로 재사용하여 수렴 속도를 가속화하고 낭비 계산을 방지할 수 있는가?
• RQ3 실제 PDE 기반 연속 문제에서 병행 적응 방법의 성능이 프로세서 수에 따라 어떻게 스케일링되는가?
• RQ4 뉴턴-크리로프 해법과 GMRES를 사용하는 비용이 많이 드는 시스템에 PAMPAC를 적용했을 때의 월클럭 시간 단축 비율은 얼마인가?
• RQ5 최적의 단계 크기가 크게 변하는 고곡률 해 곡선이 존재하는 상황에서도 이 방법이 안정성과 강건성을 유지하는가?

주요 결과

• 비용이 많이 드는 뉴턴-크리로프 수정 단계를 포함한 고대칭성 흐름 문제를 해결할 때, 39개의 CPU 클러스터에서 PAMPAC는 최대 3배의 속도 향상을 달성하였다.
• 단지 세 개의 CPU를 사용하여도 최대 2배의 속도 향상을 달성하여, 소규모 병행 시스템에서도 효과적임을 입증하였다.
• 중간 반복 결과 재사용과 병행된 다양한 단계 크기 탐색을 통해 실패한 수정 단계에 소요되는 시간을 줄였으며, 순차적 거절 사이클을 방지하였다.
• 일반적인 단계 크기 제어를 사용한 순차적 구현에서는 55개의 수정 단계 중 15개(27%)가 거절되었으나(PAMPAC는 이 과정에서의 오버헤드를 크게 감소시켰다).
• 수정 반복이 통신 비용 대비 비용이 많이 들고 해 곡선의 곡률 변화가 뚜렷한 경우에 알고리즘이 가장 효과적으로 작동한다.
• 동적 단계 크기 적응과 함께 트리 구조 병렬화 전략은 다양한 설정에서 강건하고 확장 가능했으며, 트리의 폭이 깊이보다 성능에 더 큰 영향을 미쳤다.