[논문 리뷰] Randomized square-root free algorithms for generalized Hermitian eigenvalue problems

Arvind K. Saibaba, Peter K. Kitanidis|arXiv (Cornell University)|2013. 07. 25.

Numerical methods in engineering참고 문헌 4인용 수 2

한 줄 요약

이 논문은 $A$가 에르미트이고 $B$가 에르미트 정부호인 일반화된 에르미트 고유값 문제(GHEP) $Ax = \lambda Bx$를 해결하기 위한 무작위화되고 제곱근을 포함하지 않는 알고리즘을 제시한다. 이 방법은 $B^{1/2}$나 $B^{-1/2}$의 명시적 계산을 피하기 위해 $Ax$, $Bx$, $B^{-1}x$의 행렬-벡터 곱에만 의존하며, $B^{-1}A$의 일반화된 특이값이 빠르게 감쇠할 경우 높은 정확도를 달성한다. 이는 카르누넨-뢰브 전개에 응용된다.

ABSTRACT

We describe randomized algorithms for computing the dominant eigenmodes of the Generalized Hermitian Eigenvalue Problem (GHEP) $Ax=\lambda Bx$, with $A$ Hermitian and $B$ Hermitian and positive definite. The algorithms we describe only require forming operations $Ax$, $Bx$ and $B^{-1}x$ and avoid forming square-roots of $B$ (or operations of the form, $B^{1/2}x$ or $B^{-1/2}x$). We provide a convergence analysis and a posteriori error bounds that build upon the work of~\cite{halko2011finding,liberty2007randomized,martinsson2011randomized} (which have been derived for the case $B=I$). Additionally, we derive some new results that provide insight into the accuracy of the eigenvalue calculations. The error analysis shows that the randomized algorithm is most accurate when the generalized singular values of $B^{-1}A$ decay rapidly. A randomized algorithm for the Generalized Singular Value Decomposition (GSVD) is also provided. Finally, we demonstrate the performance of our algorithm on computing the Karhunen-Loeve expansion, which is a computationally intensive GHEP problem with rapidly decaying eigenvalues.

연구 동기 및 목표

• 에르미트 행렬 $B$에 대해 제곱근 연산이 필요 없는 효율적인 무작위 알고리즘을 개발하는 것.
• 일반화된 특이값이 빠르게 감쇠할 경우 주요 고유모드를 계산하는 데 높은 정확도를 확보하는 것.
• 이전에는 $B=I$인 경우에만 적용 가능했던 무작위 방법을 일반적인 GHEP의 경우, 즉 정부호 $B$를 가진 경우로 확장하는 것.
• 제안된 알고리즘에 대한 수렴 분석과 후행 오차 한계를 제공함으로써 기존 표준 고유값 문제의 결과를 일반화하는 것.

제안 방법

• 알고리즘은 $A$의 주요 고유공간을 $B$에 대해 샘플링하기 위해 무작위 투영을 사용하며, $B^{1/2}$나 $B^{-1/2}$의 명시적 연산을 피한다.
• 무작위 벡터에 대해 $Ax$, $Bx$, $B^{-1}x$를 계산하고, 주요 일반화된 고유공간을 근사하는 저차원 부분공간을 구성한다.
• 무작위 부분공간 반복 프레임워크를 활용하며, 투영 행렬을 행렬-벡터 곱을 통해 반복적으로 갱신한다.
• 특히 일반화된 특이값이 빠르게 감쇠할 경우 수렴을 보장하기 위해 $B^{-1}A$의 구조를 활용한다.
• 기존의 무작위 SVD에 기반한 결과를 일반화하기 위해, $B^{-1}A$의 일반화된 특이값의 감쇠율에 따라 후행 오차 한계를 유도한다.
• GHEP 프레임워크의 부산물로 일반화된 특이값 분해(GSVD)를 위한 무작위 알고리즘도 제안한다.

실험 결과

연구 질문

• RQ1 표준 고유값 문제에 대한 무작위 알고리즘을 $B^{1/2}$나 $B^{-1/2}$를 형성하지 않고 일반화된 에르미트 고유값 문제에 어떻게 적용할 수 있는가?
• RQ2 $B^{-1}A$에 대한 어떤 조건이 주요 고유모드의 무작위 계산에서 높은 정확도를 보장하는가?
• RQ3 표준 고유값 문제의 경우에 대한 수렴 및 오차 한계 결과가 정부호 $B$를 가진 일반화된 경우로 어떻게 일반화되는가?
• RQ4 제안된 GHEP 프레임워크에서 무작위 GSVD 알고리즘을 유도할 수 있는가?
• RQ5 실제 문제, 예를 들어 카르누넨-뢰브 전개와 같이 고유값이 빠르게 감쇠하는 경우에 알고리즘의 성능은 어떠한가?

주요 결과

• 제안된 알고리즘은 $B^{-1}A$의 일반화된 특이값이 빠르게 감쇠할 경우 높은 정확도를 달성한다. 이 조건은 랜덤 투영에 의한 부분공간 근사가 우수하기 때문이다.
• 이 방법은 $B$에 대한 명시적 제곱근 연산을 피함으로써 기존의 접근 방식에 비해 계산 비용을 감소시키고 수치적 불안정성도 줄인다.
• 기존의 $B=I$의 경우에 대한 결과를 일반화하기 위해, $B^{-1}A$의 일반화된 특이값의 감쇠율에 따라 후행 오차 한계를 도출하였다.
• 카르누멘-뢰브 전개 문제에 대해 강력한 성능을 보였으며, 이는 고유값이 매우 빠르게 감쇠하는 계산적으로 복잡한 GHEP 문제이다.
• GHEP 솔버의 자연스러운 확장으로 일반화된 SVD를 위한 무작위 알고리즘이 성공적으로 도출되었으며, 더 넓은 적용 가능성을 제공한다.