[논문 리뷰] A block Recycled GMRES method with investigations into aspects of solver performance

Michael L. Parks, Kirk M. Soodhalter외 1명|arXiv (Cornell University)|2016. 04. 06.

Matrix Theory and Algorithms참고 문헌 31인용 수 14

한 줄 요약

이 논문은 블록 카르마르 회수 기반 GMRES 방법을 제안하여 다수의 우항을 가진 큰 희소 비에르미트 연립일차방정식의 수열에 대해 수렴 속도를 향상시킨다. 블록 카르마르 재사용과 정규화 기법을 융합함으로써 성능을 향상시키며, 블록 연산이 데이터 이동 효율성과 캐시 재사용을 향상시키지만, 직교화 비용이 성능 향상을 감소시킬 수 있음을 보여준다. 이 방법은 Trilinos에 구현되어 있으며, 대규모 문제에서 표준 방법 대비 수렴 및 성능 메트릭에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

We propose a block Krylov subspace version of the GCRO-DR method proposed in [Parks et al.; SISC 2005], which is an iterative method allowing for the efficient minimization of the the residual over an augmented Krylov subspace. We offer a clean derivation of our proposed method and discuss methods of selecting recycling subspaces at restart as well as implementation decisions in the context of high-performance computing. Numerical experiments are split into those demonstrating convergence properties and those demonstrating the data movement and cache efficiencies of the dominant operations of the method, measured using processor monitoring code from Intel.

연구 동기 및 목표

• 다수의 우항이 존재할 때, 큰 희소 비에르미트 연립일차방정식의 수열을 효율적으로 해결하는 데 도전 과제를 해결하기 위해.
• 블록 카르마르 방법과 부분공간 재사용 기법을 융합하여 수렴 속도와 계산 효율성을 향상시키기 위해.
• 고성능 컴퓨팅 환경에서 데이터 이동과 캐시 효율성에 중점을 두고, 블록 재사용 방법의 성능을 수렴 이외의 측면에서 조사하기 위해.
• 특히 투영 연산자 맥락에서, 블록 연산과 직교화 비용 간의 상충 관계를 평가하기 위해.
• 블록 Recycled GMRES의 청결한 유도 및 구현 가이던스를 제공하며, Trilinos와 MATLAB에서 코드를 공개함으로써 재현 가능성과 기존 HPC 워크플로우에의 통합을 지원하기 위해.

제안 방법

• GCRO-DR 방법의 블록 카르마르 부분공간 변형을 제안하여, 선형 시스템 수열 간에 정규화된 불변 부분공간을 재사용할 수 있도록 함.
• 블록 아르니르드 과정을 사용해 블록 카르마르 부분공간을 생성하고, 수렴 속도 향상을 위해 재사용된 정규화 부분공간을 추가함.
• 재사용된 부분공간에 수직이 되도록 시스템 행렬에 $(\mathbf{I} - \mathbf{P})$ 투영 연산자를 적용하여, 정규화된 공간에서 잔차 최소화를 보장함.
• 직교화 및 행렬-벡터 곱 연산 중 캐시 효율성을 유지하기 위해 하우스홀더 기반 블록 저장 및 적용 전략을 구현함.
• Intel 프로세서 모니터링 도구를 사용해 데이터 이동 및 캐시 미스 수를 측정하여, 행렬-벡터 곱 및 직교화 루틴의 성능을 평가함.
• 블록 전체에 적용된 연산과 열별 적용을 비교하여, 특히 투영 조건에서 캐시 효율성의 상충 관계를 분석함.

실험 결과

연구 질문

• RQ1 블록 카르마르 방법과 재사용을 융합함으로써, 다수의 우항이 존재하는 선형 시스템 수열의 수렴 속도 향상 정도는 어느 정도인가?
• RQ2 행렬-벡터 곱에서 블록 연산과 열별 연산 간의 데이터 이동 및 캐시 효율성 측면에서의 성능 비교는 어떻게 되는가?
• RQ3 시스템 행렬에 투영자를 적용할 경우, 블록 재사용 방법에서 행렬-벡터 연산의 캐시 효율성에 어떤 영향을 미치는가?
• RQ4 수정된 그람-슈미트와 다중패스 고전적 그람-슈미트와 같은 직교화 루틴은 블록 재사용된 GMRES에서 성능과 캐시 활용도에 어떤 영향을 미치는가?
• RQ5 전체 탐색 공간 차원이 표준 블록 GMRES와 동일한 조건에서, 직교화의 비효율성에도 불구하고 블록 재사용 방법이 전체 런타임 성능에서 더 나은 성능을 낼 수 있는가?

주요 결과

• 블록 Recycled GMRES는 다수의 우항이 존재하는 대규모 문제에서 표준 블록 GMRES 및 비블록 재사용 방법보다 더 급격한 수렴 곡선을 보임.
• 투영되지 않은 연산자에 대해선, 블록 행렬-벡터 곱에서 뚜렷한 캐시 효율성 향상이 나타나며, 캐시 미스 수가 최대 2–3배 감소하고 시간 측정 결과도 향상됨.
• 시스템 행렬에 투영자를 적용할 경우, 블록 연산의 성능 이점이 감소하며, 일부 사례에선 데이터 국소성 감소로 인해 열별 적용보다 성능이 열 劣함.
• 일부 행렬에 대해선, 투영된 행렬을 블록에 적용하는 데 소요되는 시간이 단일 벡터에 적용하는 데 비해 2배 이상 초과함을 확인하여, 투영된 경우에 상당한 성능 저하가 있음.
• 수정된 그람-슈미트와 다중패스 고전적 그람-슈미트와 같은 직교화 루틴은 유사한 성능 특성을 보였지만, 캐시 효율성 측면에선 블록 직교화가 항상 열별 방법을 앞서지 못함.
• 알고리즘의 C++ 구현은 Trilinos의 Belos 패키지에 공개되어 있으며, MATLAB 버전도 공개되어 있어 재현 가능성과 기존 HPC 워크플로우에의 통합을 지원함.