[논문 리뷰] Block algorithms with augmented Rayleigh-Ritz projections for large-scale eigenpair computation

Zaiwen Wen, Yin Zhang|arXiv (Cornell University)|2015. 07. 22.

Matrix Theory and Algorithms참고 문헌 18인용 수 6

한 줄 요약

이 논문은 블록 고유값 알고리즘 arrabit을 제안하며, 보완된 레일리-릿츠(ARR) 투영과 다항식 조절 기법을 통해 수렴 속도를 가속화하고, 레일리-릿츠 호출 횟수를 단 1~3회로 줄여, 명시적 병렬화 없이도 ARPACK 및 FEAST와 같은 최신 솔버보다 뛰어난 성능을 보인다. 이는 대규모 대칭 행렬에서 성능을 높인다.

ABSTRACT

Most iterative algorithms for eigenpair computation consist of two main steps: a subspace update (SU) step that generates bases for approximate eigenspaces, followed by a Rayleigh-Ritz (RR) projection step that extracts approximate eigenpairs. So far the predominant methodology for the SU step is based on Krylov subspaces that builds orthonormal bases piece by piece in a sequential manner. In this work, we investigate block methods in the SU step that allow a higher level of concurrency than what is reachable by Krylov subspace methods. To achieve a competitive speed, we propose an augmented Rayleigh-Ritz (ARR) procedure and analyze its rate of convergence under realistic conditions. Combining this ARR procedure with a set of polynomial accelerators, as well as utilizing a few other techniques such as continuation and deflation, we construct a block algorithm designed to reduce the number of RR steps and elevate concurrency in the SU steps. Extensive computational experiments are conducted in Matlab on a representative set of test problems to evaluate the performance of two variants of our algorithm in comparison to two well-established, high-quality eigensolvers ARPACK and FEAST. Numerical results, obtained on a many-core computer without explicit code parallelization, show that when computing a relatively large number of eigenpairs, the performance of our algorithms is competitive with, and frequently superior to, that of the two state-of-the-art eigensolvers.

연구 동기 및 목표

• 현대의 다핵 아키텍처에서 카이로프 부분공간 방법의 확장성 문제를 해결하기 위해 순차적 레일리-릿츠 단계 의존도를 줄이기.
• 기존 블록 방법의 평탄한 고유값 감쇠 영역에서의 느린 수렴을 보완하기 위해 증명 가능하게 수렴을 가속화하는 메커니즘 도입.
• 행렬-행렬 곱셈을 중심으로 하는 고도로 동시성 있는 부분공간 업데이트(SU) 단계로 계산 부담을 이행하기 위한 프레임워크 개발.
• 기존의 고유값 해법인 ARPACK 및 FEAST와 비교해 대규모 희소 대칭 행렬에서 경쟁력 있거나 뛰어난 성능 달성.
• 높은 정확도와 낮은 통신 비용으로 많은 외부 고유쌍(k ≪ n)을 효율적으로 계산 가능하게 하기.

제안 방법

• 레일리-릿츠 벡터와 잔여보정을 포함한 풍부한 부분공간에 투영함으로써 수렴 속도를 가속화하는 보완된 레일리-릿츠(ARR) 절차 도입.
• 블록 파워 반복과 가우스-뉴턴 방법을 부분공간 업데이트(SU) 방식으로 사용하며, 이들은 모두 고도로 동시성 있는 행렬 곱셈(AX) 연산에 의해 지배됨.
• 저차수 다항식 가속기 도입으로 블록 파워 방법의 수렴 속도 향상, 계산 복잡도 증가 없이.
• 반복 행렬이 수치적으로 질량 부족 상태가 되는 것을 허용하는 도전적인 정지 기준 도입으로 불필요한 레일리-릿츠 투영 감소.
• 연속성 및 정규화 기법 통합으로 군집화되거나 잘 분離되지 않은 고유값에 대한 안정성과 수렴성 향상.
• 레일리-릿츠 호출 수를 최소화하는 알고리즘 설계 — 이는 밀도 있는 고유값 해법과 직교화를 포함하나 병렬성이 제한된 작업이므로 확장성에 매우 중요함.

실험 결과

연구 질문

• RQ1 보완된 레일리-릿츠 투영을 갖춘 블록 알고리즘이 대규모 대칭 고유값 문제에서 기존의 카이로프 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 고유쌍 계산의 높은 정확도를 유지하면서 레일리-릿츠 투영 횟수를 얼마나 줄일 수 있는가?
• RQ3 특히 카이로프 기반 솔버와 비교했을 때, 고유쌍 수 k에 따른 블록 방법의 확장성은 어떠한가?
• RQ4 다항식 가속기와 도전적인 정지 기준이 신뢰성 손실 없이 블록 파워 반복의 수렴을 크게 향상시킬 수 있는가?
• RQ5 레일리-릿츠 절차가 군집화되거나 평탄한 고유값 감쇠 조건과 같은 현실적인 조건에서도 증명 가능한 수렴 가속 효과를 제공하는가?

주요 결과

• arrabit 알고리즘은 UF Sparse Matrix Collection의 16개 테스트 행렬에서 명시적 코드 병렬화 없이도 ARPACK 및 FEAST와 경쟁하거나 뛰어난 성능을 보였다.
• 평균적으로 arrabit는 해의 정밀도 10⁻¹²에 도달하기 위해 단 1~3회의 보완된 레일리-릿츠(ARR) 투영만을 필요로 하여 고비용의 밀도 있는 고유값 해법 횟수를 극적으로 감소시켰다.
• cfd1 및 Ge87H76와 같은 행렬에서는 arrabit가 k 증가에 따라 eigs 솔버보다 더 잘 확장되며, k 증가에 따라 해 시간 증가율이 더 느렸다.
• 평탄한 고유값 감쇠를 보이는 어려운 문제에서는 arrabit가 eigs보다 수 배 빠른 성능 향상을 보이며, 강건성과 효율성을 입증했다.
• arrabit의 가우스-뉴턴 기반 변형(gn)은 특히 조밀한 콘도르시 행렬을 가진 행렬에서 뛰어난 성능를 보였지만, 일부 소형~중형 k 문제에서는 여전히 FEAST가 더 빠르게 작동했다.
• 블록 SpMV 연산의 고도 동시성 덕분에 알고리즘의 성능은 병렬 아키텍처에서 매우 유리하다.