[論文レビュー] Randomized methods for rank-deficient linear systems

Josef Sifuentes, Zydrunas Gimbutas+1 more|arXiv (Cornell University)|Jan 14, 2014

Matrix Theory and Algorithms参考文献 8被引用数 11

ひとこと要約

本稿では、行列にランダムなランク-k摂動を加えることで、確率的に非特異な系に変換する確率的アルゴリズムを提示する。この方法により、SVD や密行列の因子分解を避けて、GMRES や共役勾配法などの反復解法を効率的に適用でき、特異値分解が困難な悪条件な核空間問題に対しても高い精度を達成する。

ABSTRACT

We present a simple, accurate method for solving consistent, rank-deficient linear systems, with or without addi- tional rank-completing constraints. Such problems arise in a variety of applications, such as the computation of the eigenvectors of a matrix corresponding to a known eigenvalue. The method is based on elementary linear algebra combined with the ob- servation that if the matrix is rank-k deficient, then a random rank-k perturbation yields a nonsingular matrix with probability 1.

研究の動機と目的

• 標準的な直接法が計算的に非現実的となる、一貫性がありランク不足な線形方程式系を解く課題に対処すること。
• QR や SVD などの従来の核空間計算手法に代わる、数値的に安定的で効率的な代替手法を開発すること。
• ランダム摂動による系の良好な条件付けにより、ランク不足な系に対してもKrylov部分空間反復解法を適用可能にする。
• 同次系（Ax = 0）と非同次系（Ax = b）に加えて追加制約を含む枠組みを、両者に適用可能にする。
• ポテンシャル理論や電磁散乱の分野で一般的に生じる有限ランクの不足性を伴う積分方程式や境界値問題へもこの手法を拡張すること。

提案手法

• ランク不足な行列 $A$ にランダムなランク-k摂動 $A + PQ^*$ を導入し、$P, Q \in \mathbb{C}^{n \times k}$ はランダムな行列である。
• 連続分布から抽出された $P$ と $Q$ を用いることで、$A + PQ^*$ が確率的に非特異であるという事実を活用する。
• GMRES や共役勾配法などの反復的Krylov法を用いて摂動系 $(A + PQ^*)y = b$ を解く。
• 正確な算術演算下では $A(x - y) = 0$ であるため、$x - y$ を $A$ の核ベクトルの近似として用いる。
• 条件数の改善と誤差伝搬の低減を図るために、正規直交射影を用いた安定化版のスキームを適用する。
• 拡張された系に追加のランク-k制約 $C^*x = f$ を組み込むことで、制約の整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ランダムなランク-k摂動が、ランク不足な線形方程式系を信頼性高く良好に条件付けられた非特異系に変換できるか？
• RQ2 摂動系上で反復解法を用いた場合、得られる核空間近似の精度はどの程度か？
• RQ3 摂動がKrylov部分空間法の条件数および収束特性に与える影響は何か？
• RQ4 追加の制約を含む非同次系に対しても、この手法は精度を維持できるか？
• RQ5 QR や SVD、逆反復法といった既存手法と比較して、この手法の効率性と精度はどの程度か？

主な発見

• ランダム摂動 $A + PQ^*$ は確率的に非特異な行列を生成し、標準的な反復解法の適用を可能にする。
• 核空間近似の誤差は $\delta \left(1 + \frac{\|P\|}{\sigma_{\min}(P_{N^*})}\right)$ で有界であり、ここで $\delta$ は残差許容誤差である。
• 数値実験では、良好に条件付けられた問題に対して相対誤差が $10^{-14}$ から $10^{-15}$ のオーダーで達成された。
• 安定化版のアルゴリズムは、大きな摂動に対しても高い精度を維持し、テスト事例では誤差が $10^{-14}$ 未満であった。
• $A$ がスパースであるか、高速な行列-ベクトル乗算が可能である場合には特に効果的であり、密行列因子分解を回避できる。
• ポテンシャル理論における積分方程式では、有限ランクの不足性が自然に生じるが、本手法はそのような状況に対しても強力な正則化戦略を提供する。