[論文レビュー] PRIMME_SVDS: A Preconditioned SVD Solver for Computing Accurately Singular Triplets of Large Matrices based on the PRIMME Eigensolver.

Lingfei Wu, Andreas Stathopoulos|arXiv (Cornell University)|Aug 23, 2014

Matrix Theory and Algorithms被引用数 4

ひとこと要約

PRIMME_SVDS は、大規模なスパース行列に対する高精度な特異値分解（SVD）ソルバーであり、2段階のアプローチを組み合わせたものである。まず、高速収束を実現するため正規方程式を解き、次に精度を向上させるために拡張行列上の固有値問題に切り替える。PRIMME固有値ソルバーを活用し、プリコンディショニングをサポートすることで、最大および最小の特異値三つ組を高精度かつ高効率に計算することが可能になる。

ABSTRACT

Abstract. The computation of a few singular triplets of large, sparse matrices is a challenging task, especially when the smallest magnitude singular values are needed in high accuracy. Most recent efforts try to address this problem through variations of the Lanczos bidiagonalization method, but algorithmic research is ongoing and without production level software. We develop a high quality SVD software on top of the state-of-the-art eigensolver PRIMME that can take advantage of preconditioning, and of PRIMME’s nearly-optimal methods and full functionality to compute both largest and smallest singular triplets. Accuracy and efficiency is achieved through a hybrid, two-stage meta-method, primme svds. In the first stage, primme svds solves the normal equations problem up to the best achievable accuracy. If further accuracy is required, the method switches automatically to an eigenvalue problem with the augmented matrix. Thus it combines the advantages of the two stages, faster convergence and accuracy, respectively. For the augmented matrix, solving the interior eigenvalue is facilitated by a proper use of the good initial guesses from the first stage and an efficient implementation of the refined projection method. We also discuss how to precondition primme svds and to cope with some issues that arise. The method can be used with or without preconditioning, on large problems, and can be called with its full functionality from MATLAB through our MEX interface. Numerical experiments illustrate the efficiency and robustness of the method. 1. Introduction. The Singular Value Decomposition (SVD

研究の動機と目的

• 大規模なスパース行列の一部の特異値三つ組、特に最小特異値を高精度で計算する課題に対処すること。
• 最大および最小の特異値三つ組の計算をサポートする生産用途に適したソフトウェアツールを開発すること。
• スパース行列の特異値計算にプリコンディショニングを統合し、悪条件または大規模な問題において収束性と頑健性を向上させること。
• MATLAB の MEX インターフェースを通じて利用可能な信頼性が高く、効率的で完全に機能する SVD ソルバーを提供すること。

提案手法

• 2段階のハイブリッド手法を用いる。まず、PRIMME のほぼ最適な手法を用いて正規方程式問題を解き、高速収束を達成する。
• より高い精度が求められる場合、自動的に拡張行列上の固有値問題に切り替える。
• 拡張行列の固有値問題は、第1段階で得られた高品質な初期推定値を用いた精錬投影法で解く。
• 両段階にプリコンディショニングを適用することで、収束速度と頑健性が向上し、特に困難な問題や悪条件の問題において顕著である。
• PRIMME の完全な機能を活用し、対称および非対称問題の両方をサポートする効率的な反復ソルバーを備える。
• MATLAB とのシームレスな統合を可能にするために、MEX インターフェースを通じてソフトウェアを公開し、科学計算ワークフローへの容易な統合を実現する。

実験結果

リサーチクエスチョン

• RQ1 正規方程式と拡張行列固有値問題を組み合わせた2段階法は、大規模スパース行列の SVD 計算において、どのように精度を向上させるか？
• RQ2 プリコンディショニングは、悪条件または大規模な問題における SVD ソルバーの収束性と頑健性にどのような影響を与えるか？
• RQ3 ハイブリッド手法は、特に最小特異値に対して、高速収束と高精度の両方を達成できるか？
• RQ4 第1段階で得た初期推定値は、第2段階における内部固有値問題の解法効率をどのように向上させるか？
• RQ5 PRIMME 固有値ソルバーの機能をどの程度拡張すれば、包括的で生産用途に適した SVD ソルバーを提供できるか？

主な発見

• 2段階法は、第1段階の高速収束と第2段階の高精度な解法を組み合わせることで、高精度を達成する。
• 精度要件に応じて自動的に段階を切り替えるため、最適なパフォーマンスと精度が保証される。
• プリコンディショニングは収束速度と頑健性を顕著に向上させ、特に特異値がクラスタリングしているか、小さい問題において顕著である。
• 第1段階で得た高品質な初期推定値を活用することで、第2段階の収束が加速され、反復回数が削減される。
• 本ソフトウェアは、悪条件や特異値がクラスタリングしている行列を含む、広範な大規模スパース行列においても頑健な性能を示す。
• MEX インターフェースにより、MATLAB とのシームレスな統合が可能となり、ユーザーが PRIMME_SVDS の全機能をハイレベル環境で容易に活用できる。