[논문 리뷰] Accelerating eigenvector and pseudospectra computation using blocked multi-shift triangular solves

Tim Moon, Jack Poulson|arXiv (Cornell University)|2016. 07. 06.

Parallel Computing and Optimization Techniques참고 문헌 17인용 수 3

한 줄 요약

이 논문은 고유벡터 및 가짜스펙트럼 계산을 가속화하기 위해 레벨 3 BLAS를 활용하는 블록화된 다중 이동 삼각형 해법 알고리즘을 제안한다. 다중 이동 삼각형 해법을 재구성하고 악조건 행렬에 대한 보호 조치를 통합함으로써, 삼각형 고유벡터에 대해 LAPACK 대비 최대 60배, 가짜스펙트럼에 대해 EigTool 대비 9배의 성능 향상을 달성하여 고유값 분석 워크로드에서의 성능을 크게 향상시킨다.

ABSTRACT

Multi-shift triangular solves are basic linear algebra calculations with applications in eigenvector and pseudospectra computation. We propose blocked algorithms that efficiently exploit Level 3 BLAS to perform multi-shift triangular solves and safe multi-shift triangular solves. Numerical experiments indicate that computing triangular eigenvectors with a safe multi-shift triangular solve achieves speedups by a factor of 60 relative to LAPACK. This algorithm accelerates the calculation of general eigenvectors threefold. When using multi-shift triangular solves to compute pseudospectra, we report ninefold speedups relative to EigTool.

연구 동기 및 목표

• 기존 LAPACK 루틴에서 레벨 2 BLAS에 의존함으로써 발생하는 고유벡터 및 가짜스펙트럼 계산의 성능 저하 문제를 해결하기 위해.
• 비블록화된 역대입법 대신 블록화된 다중 이동 삼각형 해법을 도입하여 삼각형 및 일반 고유벡터의 효율적 계산을 가능하게 하기 위해.
• 악조건 행렬에서의 오버플로우 및 영으로 나누기 오류를 방지하면서도 수치적으로 안정적인 다중 이동 삼각형 해법의 변형을 개발하기 위해.
• 레벨 3 BLAS 최적화된 다중 이동 해법을 여러 이동 지점에 걸쳐 적용하여 가짜스펙트럼 계산을 가속화하기 위해.
• 포트란 구현과 실수 산술 지원을 통해 향후 LAPACK에의 통합을 위한 기반을 마련하기 위해.

제안 방법

• 레벨 2 BLAS 연산을 레벨 3 BLAS 루틴인 xGEMM 등으로 대체하여 데이터 국소성과 캐시 효율성을 향상시키는 블록화된 다중 이동 삼각형 해법 알고리즘을 제안한다.
• 삼각행렬의 대각선 블록에 이동을 적용함으로써 표준 블록화된 역대입법 알고리즘을 다중 이동을 동시에 처리할 수 있도록 변형한다.
• 동적 스케일링과 오류 모니터링을 활용한 안전한 다중 이동 삼각형 해법을 도입하여 수치적 오버플로우를 방지하고 후방 안정성을 유지한다.
• 중간 벡터의 무한노름을 모니터링하고 스케일링 요소를 조정하여 안전한 범위 내에 머무르도록 하는 보호 장치가 있는 반복적 스케일링 전략을 적용한다.
• xTRSV 및 xGEMM 연산을 활용한 수정된 블록 알고리즘을 통해 일반 고유값 문제인 (U - λV)x = b를 해결함으로써 방법을 일반화한다.
• 안정적인 다중 이동 삼각형 해법을 삼각형 및 일반 행렬에 모두 적용 가능한 강력한 고유값 해소 파ip라인의 핵심 서브루틴으로 활용한다.

실험 결과

연구 질문

• RQ1 레벨 3 BLAS를 사용한 블록화된 다중 이동 삼각형 해법이 LAPACK의 레벨 2 BLAS 기반 xTREVC에 비해 고유벡터 계산의 계산 시간을 크게 줄일 수 있는가?
• RQ2 악조건 행렬에서 오버플로우 및 영으로 나누기 오류를 방지하면서도 후방 안정성을 유지하는 안전한 다중 이동 삼각형 해법 알고리즘이 가능한가?
• RQ3 다중 이동 삼각형 해법이 대규모 문제에서 가짜스펙트럼 계산을 얼마나 빠르게 가속화할 수 있는가?
• RQ4 행렬 크기와 이동 수에 따라 제안된 알고리즘의 성능가 어떻게 스케일링되는가?
• RQ5 제안된 알고리즘이 일반 고유값 문제로 일반화되고 표준 선형 대수 라이브러리에 통합될 수 있는가?

주요 결과

• 안전한 다중 이동 삼각형 해법을 사용한 삼각형 고유벡터 계산은 LAPACK의 xTREVC 루틴 대비 60배 빠른 성능 향상을 달성한다.
• 제안된 방법을 사용한 일반 고유벡터 계산은 LAPACK 기준 대비 3배 빠른 성능 향상을 보였다.
• 3200×3200 행렬에서 10,000개의 그리드 포인트에서 가짜스펙트럼 계산을 수행할 때, 새로운 알고리즘은 EigTool 대비 아홉 배 빠른 성능을 기록했다.
• 성능 향상은 특히 xGEMM를 효율적으로 활용하여 데이터 재사용과 캐시 활용도를 향상시킨 덕분이다.
• 악조건 행렬에서도 오버플로우를 방지하기 위해 솔루션 벡터를 동적으로 스케일링함으로써 안전한 다중 이동 삼각형 해법은 수치적 안정성을 유지한다.
• 일반화된 다중 이동 삼각형 해법은 일반 고유값 문제로의 확장을 가능하게 하여 일반 고유벡터의 강력하고 효율적인 계산을 가능하게 하였다.