[논문 리뷰] Generalized Davidson and multidirectional-type methods for the generalized singular value decomposition

Ian N. Zwaan, Michiel E. Hochstenbach|arXiv (Cornell University)|2017. 05. 17.

Matrix Theory and Algorithms참고 문헌 19인용 수 6

한 줄 요약

이 논문은 일반화된 다비드슨 및 다중방향 부분공간 확장 기법을 활용하여 극단적 일반화된 특이값과 특이벡터를 계산하기 위한 두 가지 새로운 반복적 방법을 제안한다. 두 방법 모두 두꺼운 재시작(thick restarts)과 빠른 절단 단계를 활용하여 효율성을 유지하며, 증명된 단조 수렴성과 점근적 선형 수렴성을 보이며, 수치 실험을 통해 경쟁력 있는 성능을 입증한다.

ABSTRACT

We propose new iterative methods for computing nontrivial extremal generalized singular values and vectors. The first method is a generalized Davidson-type algorithm and the second method employs a multidirectional subspace expansion technique. Essential to the latter is a fast truncation step designed to remove a low quality search direction and to ensure moderate growth of the search space. Both methods rely on thick restarts and may be combined with two different deflation approaches. We argue that the methods have monotonic and (asymptotic) linear convergence, derive and discuss locally optimal expansion vectors, and explain why the fast truncation step ideally removes search directions orthogonal to the desired generalized singular vector. Furthermore, we identify the relation between our generalized Davidson-type algorithm and the Jacobi--Davidson algorithm for the generalized singular value decomposition. Finally, we generalize several known convergence results for the Hermitian eigenvalue problem to the Hermitian positive definite generalized eigenvalue problem. Numerical experiments indicate that both methods are competitive.

연구 동기 및 목표

• 전체 GSVD 계산이 불가능한 대규모 일반화된 특이값 분해(GSVD) 문제에 대해 효율적인 반복적 해법을 개발한다.
• 각 반복에서 정확한 해를 요구하는 내외부 반복 방법의 계산 비효율성을 해결한다. 특히 희소 대규모 행렬에 대해 특히 그렇다.
• 기존 방법의 한계를 극복한다. 기존 방법은 악조건의 행렬을 제곱해야 하거나 오직 오른쪽 특이벡터만 계산할 수 있다.
• 행렬 제곱 없이도 왼쪽과 오른쪽 일반화된 특이벡터를 동시에 계산할 수 있는 방법을 설계한다.
• 새로운 빠른 절단 메커니즘과 두꺼운 재시작 전략을 통해 수렴성과 부분공간 성장의 안정성을 확보한다.

제안 방법

• 레이일리-리츠 추출과 잔차 기반 보정을 활용하여 반복적으로 탐색 부분공간을 확장하는 일반화된 다비드슨 유형 알고리즘을 제안한다.
• 표준 보정 벡터를 초월하여 개선된 탐색 방향을 생성하는 다중방향 부분공간 확장 기법을 도입한다.
• 원하는 일반화된 특이벡터에 수직인 탐색 방향을 제거하는 빠른 절단 단계를 구현하여 부분공간 차원을 줄이되 정확도를 유지한다.
• 불필요한 리츠 쌍을 제거하여 효율적이고 컴act한 탐색 공간을 유지하기 위해 두꺼운 재시작을 적용한다.
• 수치적 안정성을 향상시키고 이 알고리즘을 GSVD의 자지-다비드슨 알고리즘과 연결하기 위해 $B^*B$-정규직교화를 사용한다.
• 다중 일반화된 특이값과 특이벡터를 순차적으로 처리하기 위해 두 가지 탈출 전략을 통합한다.

실험 결과

연구 질문

• RQ1 일반화된 다비드슨 유형 방법이 단조 수렴성을 보장하면서 일반화된 특이값 분해(GSVD)에 효과적으로 적용될 수 있는가?
• RQ2 다중방향 부분공간 확장 기법이 일반 보정 기반 방법에 비해 GSVD 계산에서 수렴성을 어떻게 향상시킬 수 있는가?
• RQ3 대규모 문제에서 부분공간 성장 제어를 위해 빠른 절단이 어떻게 부분공간의 품질을 유지하는 데 기여하는가?
• RQ4 두꺼운 재시작과 탈출 전략이 반복적 GSVD 해법의 효율성과 강건성에 어떻게 기여하는가?
• RQ5 헤르미트 고유값 문제에서의 수렴 결과를 일반화된 고유값 문제, 특히 GSVD 맥락에서 어떻게 일반화할 수 있는가?

주요 결과

• GSVD에 대한 일반화된 다비드슨 유형 방법은 단조 수렴성과 점근적 선형 수렴성을 보이며, 신뢰할 수 있는 수렴 행동을 보장한다.
• 빠른 절단을 통합한 다중방향 부분공간 확장 방법은 수치 실험에서 표준 방법보다 경쟁적인 성능을 보이며 뛰어난 성능을 발휘한다.
• 빠른 절단 단계는 원하는 일반화된 특이벡터에 수직인 탐색 방향을 효과적으로 제거하여 정확도를 유지하면서 부분공간 크기를 제한한다.
• 제안된 방법들은 $B^*B$-정규직교화 하에서 자지-다비드슨 알고리즘과 동치임을 입증하여 이론적 연결 고리를 확립한다.
• 헤르미트 고유값 문제에 대한 이론적 오차 한계가 헤르미트 정부정형 일반화된 고유값 문제로 일반화되어 새로운 수렴 통찰을 제공한다.
• 수치 실험을 통해 두 방법 모두 대규모 희소 환경에서 극단적 일반화된 특이값과 특이벡터 계산에 효과적임을 확인하였다.