[논문 리뷰] A Projected Preconditioned Conjugate Gradient Algorithm for Computing a Large Invariant Subspace of a Hermitian Matrix

Eugene Vecharynski, Chao Yang외 1명|arXiv (Cornell University)|2014. 07. 28.

Matrix Theory and Algorithms인용 수 4

한 줄 요약

이 논문은 큰 희박하거나 구조적 헤르미트 행렬의 가장 작은 고유값에 관련된 큰 불변 부분공간을 계산하기 위해 투사된 조정된 공액 기울기 알고리즘을 제안한다. 레일리-리츠 계산의 횟수를 줄이고 BLAS3 연산 및 다중 수준 동시성 구조를 활용함으로써, LOPCG나 Davidson과 같은 기존 알고리즘보다 더 높은 효율성을 달성하며, 특히 전자 구조 계산에서 발생하는 고차원 문제에 특히 유리하다.

ABSTRACT

We present an iterative algorithm for computing an invariant subspace associated with the algebraically smallest eigenvalues of a large sparse or structured Hermitian matrix A. We are interested in the case in which the dimension of the invariant subspace is large (e.g., over several hundreds or thousands) even though it may still be small relative to the dimension of A. These problems arise from, for example, density functional theory based electronic structure calculations for complex materials. The key feature of our algorithm is that it performs fewer Rayleigh--Ritz calculations compared to existing algorithms such as the locally optimal precondition conjugate gradient or the Davidson algorithm. It is a block algorithm, hence can take advantage of efficient BLAS3 operations and be implemented with multiple levels of concurrency. We discuss a number of practical issues that must be addressed in order to implement the algorithm efficiently on a high performance computer.

연구 동기 및 목표

• 크기 수백에서 수천에 이르는 큰 희박하거나 구조적 헤르미트 행렬의 큰 불변 부분공간을 계산하는 데 도전하는 것.
• 기존의 LOPCG나 Davidson과 같은 방법들과 비교해 레일리-리츠 계산 횟수를 최소화함으로써 계산 오버헤드를 줄이는 것.
• 블록 연산과 다중 수준 동시성을 통해 고성능 컴퓨터에서의 효율적 구현을 가능하게 하는 것.
• 특히 밀도함수이론에서의 대규모 물질 과학적 전자 구조 계산을 지원하는 것.

제안 방법

• 알고리즘은 원하는 불변 부분공간을 위한 탐색 부분공간을 반복적으로 확장하기 위해 투사된 조정된 공액 기울기 프레임워크를 사용한다.
• 반복 간에 근사 라이츠 쌍을 재사용함으로써 레일리-리츠 계산 횟수를 줄여 수렴 효율성을 향상시킨다.
• 블록 구조를 채택하여 수치 성능 향상과 캐시 활용도 향상을 위한 BLAS3 연산을 효과적으로 활용할 수 있다.
• 특히 조건이 나쁜 행렬에 대해 수렴 속도를 가속화하기 위해 조정 기법을 통합한다.
• 다중 수준 동시성을 지원하여 분산 메모리 고성능 컴퓨팅 시스템에 적합한 알고리즘이다.
• 실제 구현 고려사항으로는 강력한 부분공간 재사용, 탈출 기법, 효율적인 조정자 업데이트가 포함된다.

실험 결과

연구 질문

• RQ1 헤르미트 행렬의 불변 부분공간을 계산하기 위한 반복적 방법에서 레일리-리츠 계산 횟수를 어떻게 최소화할 수 있는가?
• RQ2 블록 구조와 BLAS3 연산은 대규모 문제에 대한 부분공간 반복 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ3 최소한의 계산 오버헤드로 불변 부분공간을 계산하기 위해 조정 기법을 공액 기울기 프레임워크에 효과적으로 통합하는 방법은 무엇인가?
• RQ4 이러한 알고리즘을 고성능 컴퓨팅 아키텍처로 확장할 때의 주요 구현 과제는 무엇인가?
• RQ5 대규모 불변 부분공간 문제에 대해 기존의 LOPCG나 Davidson과 비교해 제안된 알고리즘이 효율성과 안정성 면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 LOPCG나 Davidson과 비교해 레일리-리츠 계산 횟수를 크게 줄여 전체 계산 효율성을 향상시킨다.
• 블록 구조 덕분에 BLAS3 연산을 효과적으로 활용할 수 있어 메모리 대역폭이 높은 현대 아키텍처에서 뛰어난 성능을 발휘한다.
• 다중 수준 동시성과의 스케일링이 잘 되어 있어 대규모 고성능 컴퓨팅 환경에 적합하다.
• 특히 큰 불변 부분공간이 필요한 전자 구조 계산에서 문제가 발생할 경우, 이 알고리즘이 특히 효과적이다.
• 부분공간 재사용 및 조정자 관리와 같은 실용적 구현 전략이 안정성과 효율성을 유지하는 데 필수적임이 입증되었다.