[論文レビュー] Numerically Safe Gaussian Elimination with No Pivoting

Victor Y. Pan, Liang Zhao|arXiv (Cornell University)|Jan 22, 2015

Stochastic Gradient Optimization Techniques参考文献 35被引用数 3

ひとこと要約

本論文は、乱数および構造的前処理を用いた、ピvォティングを伴わない数値的に安全なガウスの消去法（GENP）の形式的理論的裏付けを提示する。Gaussian乱数行列または特定の構造的多重子を用いた前処理により、GENPが普遍的に安全であり、高い確率で数値的に安全であることを証明し、長年の経験的観察を解消し、密度行列向けの高速で通信を回避する線形方程式系ソルバーの実現を可能にする。

ABSTRACT

Gaussian elimination with no pivoting and block Gaussian elimination are attractive alternatives to the customary but communication intensive Gaussian elimination with partial pivoting (hereafter we use the acronyms GENP, BGE, and GEPP} provided that the computations proceed safely and numerically safely}, that is, run into neither division by 0 nor numerical problems. Empirically, safety and numerical safety of GENP have been consistently observed in a number of papers where an input matrix was pre-processed with various structured multipliers chosen ad hoc. Our present paper provides missing formal support for this empirical observation and explains why it was elusive so far. Namely we prove that GENP is numerically unsafe for a specific class of input matrices in spite of its pre-processing with some well-known and well-tested structured multipliers, but we also prove that GENP and BGE are safe and numerically safe for the average input matrix pre-processed with any nonsingular and well-conditioned multiplier. This should embolden search for sparse and structured multipliers, and we list and test some new classes of them. We also seek randomized pre-processing that universally (that is, for all input matrices) supports (i) safe GENP and BGE with probability 1 and/or (ii) numerically safe GENP and BGE with a probability close to 1.We achieve goal (i) with a Gaussian structured multiplier and goal (ii) with a Gaussian unstructured multiplier and alternatively with Gaussian structured augmentation. We consistently confirm all these formal results with our tests of GENP for benchmark inputs. We have extended our approach to other fundamental matrix computations and keep working on further extensions.

研究の動機と目的

• ピvォティングを伴わないガウスの消去法（GENP）が前処理された行列に適用された際の経験的成功の形式的理論的根拠を提供すること。
• 構造的前処理下でのGENPの数値的安定性に関する、長年の経験的観察と理論的理解の間のギャップを解消すること。
• GENPの安全および数値的安定性を保証する新しいスパースで構造的な多重子のクラスを開発・検証すること。
• 任意の非特異的・良好に条件付けられた入力行列に適用可能な、乱数Gaussian多重子を用いたGENPの普遍的安定性および高確率での数値的安定性を確立すること。
• 低ランク近似や特異部分空間計算を含む他の基本的行列計算へこのアプローチを拡張すること。

提案手法

• Gaussian確率分布下で、任意の非特異的・良好に条件付けられた多重子を用いた前処理により、GENPが平均的な入力行列に対して安全かつ数値的に安全であることを証明する。
• Gaussian乱数行列による前処理が、任意の非特異的入力行列に対して普遍的安定性（確率1）および高確率での数値的安定性を保証することを示す。
• GaussianサブサイクロントランスポジションやSRFT補完など、新しいスパースで構造的な多重子（例：Gaussian subcirculant, SRFT augmentation）を導入・検証し、数値的安定性を維持すること。
• Gaussianサブサイクロントランスポジション行列UおよびVを用いた加法的摂動（C = A - UV^T）によるランダム前処理を採用し、GENPの安定化を図る。
• 前処理後の解の効率的計算に、Sherman-Morrison-Woerdeman（SMW）の公式を用いる。
• [BDHT13]のベンチマーク行列および標準的な線形代数テストケースを用いた広範な数値的検証により、結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 ピvォティングを伴わないガウスの消去法は、形式的証明が欠如しているにもかかわらず、なぜ前処理された行列に適用された際、経験的に数値的に安全なのであろうか？
• RQ2 構造的前処理下で、GENPが広範なクラスの入力行列に対して形式的に数値的に安全であることを証明できるか？
• RQ3 乱数Gaussian行列による前処理が、任意の非特異的入力行列に対して普遍的安定性および高確率での数値的安定性を保証するのか？
• RQ4 計算コストおよび通信コストを削減しつつ、数値的安定性を維持できるスパースで構造的な多重子のクラスは何か？
• RQ5 構造的ランダム行列（例：サブサイクロントランスポジション）を用いた加法的前処理は、ピvォティングなしで高い数値的精度を達成できるか？

主な発見

• Gaussian乱数行列を左および右多重子として用いた前処理により、任意の非特異的入力行列に対してGENPは普遍的に安全（確率1）である。
• Gaussian非構造的多重子またはGaussian構造的補完を用いた前処理では、GENPは確率が1に限りなく近い高確率で数値的に安全である。
• 平均的な入力行列に対しては、Gaussian分布下で任意の非特異的・良好に条件付けられた多重子を用いた前処理により、GENPは安全かつ数値的に安全である。
• 数値的テストにより、前処理済みGENPがn=128～1024において相対残差ノルムが1e-10未満に達することが確認され、1回の修正により誤差が1e-14レベルに低下した。
• Gaussianサブサイクロントランスポジション行列（U, V）を用いた加法的前処理では、n=128の平均で相対残差ノルムが1.47e-10、n=1024の平均で9.87e-14となり、1回の修正反復で達成された。
• 本手法により、[KS91]の二重側前処理技術が4倍高速化され、実用的な効率性の向上が示された。