[논문 리뷰] PRIMME_SVDS: A Preconditioned SVD Solver for Computing Accurately Singular Triplets of Large Matrices based on the PRIMME Eigensolver.

Lingfei Wu, Andreas Stathopoulos|arXiv (Cornell University)|2014. 08. 23.

Matrix Theory and Algorithms인용 수 4

한 줄 요약

PRIMME_SVDS는 대규모 희소 행렬에 대해 고정밀도 SVD 해법을 제공하는 소프트웨어로, 빠른 수렴을 위해 정규방정식을 먼저 풀고, 정확도를 향상시키기 위해 보완 행렬 위의 고유값 문제로 전환하는 이단계적 접근을 채택한다. 이는 조절 가능한 프리컨dition링을 지원하는 PRIMME 고유값 해법을 활용하여, 가장 큰 및 가장 작은 특이값 삼중항을 고정밀도와 효율성으로 안정적으로 계산할 수 있도록 한다.

ABSTRACT

Abstract. The computation of a few singular triplets of large, sparse matrices is a challenging task, especially when the smallest magnitude singular values are needed in high accuracy. Most recent efforts try to address this problem through variations of the Lanczos bidiagonalization method, but algorithmic research is ongoing and without production level software. We develop a high quality SVD software on top of the state-of-the-art eigensolver PRIMME that can take advantage of preconditioning, and of PRIMME’s nearly-optimal methods and full functionality to compute both largest and smallest singular triplets. Accuracy and efficiency is achieved through a hybrid, two-stage meta-method, primme svds. In the first stage, primme svds solves the normal equations problem up to the best achievable accuracy. If further accuracy is required, the method switches automatically to an eigenvalue problem with the augmented matrix. Thus it combines the advantages of the two stages, faster convergence and accuracy, respectively. For the augmented matrix, solving the interior eigenvalue is facilitated by a proper use of the good initial guesses from the first stage and an efficient implementation of the refined projection method. We also discuss how to precondition primme svds and to cope with some issues that arise. The method can be used with or without preconditioning, on large problems, and can be called with its full functionality from MATLAB through our MEX interface. Numerical experiments illustrate the efficiency and robustness of the method. 1. Introduction. The Singular Value Decomposition (SVD

연구 동기 및 목표

• 대규모 희소 행렬의 일부 특이값 삼중항, 특히 가장 작은 특이값을 고정밀도로 계산하는 데 도전하는 것.
• 가장 큰 및 가장 작은 특이값 삼중항 계산을 모두 지원하는 생산 수준의 소프트웨어 도구를 개발하는 것.
• 불량한 조건을 가진 문제나 대규모 문제에서 수렴성과 안정성을 향상시키기 위해 SVD 계산에 프리컨디셔닝을 통합하는 것.
• MATLAB의 MEX 인터페이스를 통해 접근 가능한 신뢰성 있고 효율적이며 기능이 완전한 SVD 해법을 제공하는 것.

제안 방법

• 이 방법은 이중단계 하이브리드 접근법을 사용한다: 먼저 PRIMME의 거의 최적의 방법을 활용해 정규방정식 문제를 풀어 신속한 수렴을 이룬다.
• 더 높은 정확도가 필요할 경우, 자동으로 보완 행렬 위의 고유값 문제로 전환한다.
• 보완 행렬 고유값 문제는 첫 번째 단계에서 유도된 고품질의 초기 추측값을 사용하는 정밀한 프로젝션 방법으로 해결한다.
• 양단계 모두에 프리컨디셔닝을 적용하여, 특히 어려운 문제나 조건이 나쁜 문제에서 수렴 속도와 안정성을 향상시킨다.
• 이 방법은 PRIMME의 전체 功能을 활용하며, 대칭 및 비대칭 문제 모두를 지원하고 효율적인 반복 해법을 제공한다.
• 소프트웨어는 MATLAB과의 원활한 통합을 위해 MEX 인터페이스를 통해 노출되며, 과학 계산 워크플로우에서 쉽게 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 정규방정식과 보완 행렬 고유값 문제를 조합한 이단계적 방법이 대규모 희소 행렬의 SVD 계산 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 프리컨디셔닝이 조건이 나쁜 또는 대규모 문제에서 SVD 해법의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ3 하이브리드 접근법이 가장 작은 특이값 삼중항을 포함한 특이값 삼중항 계산에서 신속한 수렴과 고정밀도를 동시에 달성할 수 있는가?
• RQ4 첫 번째 단계에서 유도된 초기 추측값이 두 번째 단계의 내부 고유값 문제 해결 효율성을 어떻게 향상시키는가?
• RQ5 PRIMME 고유값 해법의 기능을 얼마나 넓히면 기능이 완전하고 생산용으로 사용 가능한 SVD 해법을 제공할 수 있는가?

주요 결과

• 이중단계 방법은 첫 번째 단계의 빠른 수렴과 두 번째 단계의 고정밀도 해법을 조합함으로써 고정밀도를 달성한다.
• 정확도 요구 사항에 따라 자동으로 단계를 전환하여 최적의 성능과 정밀도를 보장한다.
• 프리컨디셔닝은 특히 군집화되거나 작은 특이값을 가진 문제에서 수렴 속도와 안정성에 크게 기여한다.
• 첫 번째 단계에서 유도된 고품질의 초기 추측값은 두 번째 단계의 수렴 속도를 가속화하여 반복 횟수를 감소시킨다.
• 소프트웨어는 불량 조건 또는 군집화된 특이값을 가진 다양한 대규모 희소 행렬에서 안정적인 성능을 보여준다.
• MEX 인터페이스를 통해 MATLAB과의 원활한 통합이 가능하여 사용자가 PRIMME_SVDS의 전체 기능을 고수준 환경에서 쉽게 활용할 수 있다.