[논문 리뷰] Mathematics and implementation details of a block MINRES algorithm

Kirk M. Soodhalter|arXiv (Cornell University)|2013. 01. 10.

Matrix Theory and Algorithms인용 수 1

한 줄 요약

이 논문은 대칭 비정칙 행렬을 위한 블록 MINRES 알고리즘을 제안하며, 한 번의 반복에 하나의 기저 벡터를 생성하는 밴드 랑즈로스 과정을 사용한다. 이는 효율적이고 통신 최적화된 블록 연산과 스칼라 값에 의한 간편한 붕괴 감지 가능성을 제공한다. 알고리즘은 선형적으로 종속된 벡터를 사전에 생성한 무작위 벡터로 대체하여 블록 크기를 유지함으로써 고성능 계산 환경에서 성능을 향상시킨다.

ABSTRACT

We develop a block minimum residual (MINRES) algorithm for symmetric indefinite matrices. This version is built upon the band Lanczos method that generates one basis vector of the block Krylov subspace per iteration rather than a whole block as in the block Lanczos process. However, we modify the method such that the most expensive operations are still performed in a block fashion. The benefit of using the band Lanczos method is that one can detect breakdowns from scalar values arising in the computation, allowing for a handling of breakdown which is straightforward to implement. We derive a progressive formulation of the MINRES method based on the band Lanczos process and give some implementation details. Specifically, a simple reordering of the steps allows us to perform many of the operations at the block level in order to take advantage of communication efficiencies offered by the block Lanczos process. This is an important concern in the context of next-generation super computing applications. We also present a technique allowing us to maintain the block size by replacing dependent Lanczos vectors with pregenerated random vectors whose orthogonality against all Lanczos vectors is maintained. Numerical results illustrate the performance on some sample problems. We present experiments that show how the relationship between right-hand sides can effect the performance of the method.

연구 동기 및 목표

• 고성능 계산 환경에서 대칭 비정칙 행렬을 효율적으로 처리할 수 있는 블록 MINRES 알고리즘을 개발하는 것.
• 스칼라 값에 의한 간편한 구현을 가능하게 하는 밴드 랑즈로스 과정을 활용하여 붕괴 감지를 향상시키는 것.
• 벡터 단위 기저 생성 방식을 사용하면서도 계산 효율성을 확보하기 위해 블록 수준의 연산을 유지하는 것.
• 선형적으로 종속된 랑즈로스 벡터로 인한 블록 크기 감소 문제를 해결하기 위해 이전 모든 벡터와 수직인 사전 생성된 무작위 벡터로 대체하는 기법을 도입하는 것.
• 수치 실험을 통해 우측 항 간의 관계가 알고리즘 성능에 미치는 영향을 평가하는 것.

제안 방법

• 알고리즘은 한 번의 반복에 하나의 기저 벡터를 생성하는 밴드 랑즈로스 과정에서 유도된 점진적 MINRES 공식에 기반한다.
• 핵심 연산이 재구성되어 병렬 아키텍처에서의 통신 효율성을 향상시키는 블록 수준의 계산을 가능하게 한다.
• 붕괴는 계산 중 스칼라 값에 의해 감지되며, 이는 단순하고 강력한 처리를 가능하게 한다.
• 기존 랑즈로스 벡터들 모두와 수직인 사전 생성된 무작위 벡터로 선형 종속된 랑즈로스 벡터를 대체하는 기법이 도입된다.
• 교체된 벡터가 전체 카일로프 부분공간 기저와 수직성을 유지함으로써 수치적 안정성이 확보된다.
• 데이터 이동을 최소화하고 블록 수준의 병렬성을 극대화함으로써 차세대 슈퍼컴퓨터에 최적화된 구현이 이루어진다.

실험 결과

연구 질문

• RQ1 대칭 비정칙 선형 시스템에 대해 효율성과 강건성을 유지할 수 있는 블록 MINRES 방법은 어떻게 설계할 수 있는가?
• RQ2 블록 카일로프 맥락에서 벡터 단위 기저 생성 방식을 사용하는 밴드 랑즈로스 과정을 적용할 경우 성능에 어떤 영향을 미치는가?
• RQ3 다중 우측 항 간의 관계는 블록 MINRES 방법의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ4 직교성이나 계산 비용을 증가시키지 않고 효과적인 블록 크기 유지가 가능한가?
• RQ5 블록 수준 실행을 위한 연산 재정렬은 어떤 통신 및 확장성 이점이 있는가?

주요 결과

• 밴드 랑즈로스 기반의 블록 MINRES 방법은 스칼라 값 모니터링을 통해 붕괴 감지를 간편하게 구현할 수 있어 구현을 단순화한다.
• 블록 수준에서 많은 연산을 수행하도록 연산을 재정렬하면 병렬 아키텍처에서 통신 효율성이 크게 향상된다.
• 선형 종속된 랑즈로스 벡터를 사전에 생성한 무작위 벡터로 대체함으로써 블록 크기와 직교성이 유지되어 알고리즘의 안정성이 확보된다.
• 수치 실험을 통해 우측 항 간의 관계가 수렴 행동에 영향을 미치며, 특정 구성에서는 더 빠르거나 더 느린 수렴이 발생하는 것으로 나타났다.
• 최적화된 블록 연산과 통신 오버헤드 감소로 인해 고성능 계산 플랫폼에서 향상된 확장성과 성능을 달성한다.