[論文レビュー] Randomized Matrix Computations

Victor Y. Pan, Guoliang Qian+1 more|arXiv (Cornell University)|Oct 28, 2012

Tensor decomposition and applications参考文献 77被引用数 10

ひとこと要約

この論文は、乱数行列の良好な条件数の性質を活用して、数値線形代数アルゴリズムの安定性を高めるランダム化行列計算を導入する。悪条件な行列に構造的乱数行列（ガウス型、巡回型、ハウスドルフ型など）を事前および事後に乗算することで、ピvotingを伴わない数値的に安定なガウスの消去法、低ランク近似、テンソル分解を可能にし、理論的保証と実験的検証により、疎なランダム化でさえも頑健な性能を示す。

ABSTRACT

Random matrices tend to be well conditioned, and we employ this well known property to advance matrix computations. We prove that our algorithms employing Gaussian random matrices are efficient, but in our tests the algorithms have consistently remained as powerful where we used sparse and structured random matrices, defined by much fewer random parameters. We numerically stabilize Gaussian elimination with no pivoting as well as block Gaussian elimination, precondition an ill conditioned linear system of equations, compute numerical rank of a matrix without orthogonalization and pivoting, approximate the singular spaces of an ill conditioned matrix associated with its largest and smallest singular values, and approximate this matrix with low-rank matrices, with applications to its 2-by-2 block triangulation and to tensor decomposition. Some of our results and techniques can be of independent interest, e.g., our estimates for the condition numbers of random Toeplitz and circulant matrices and our variations of the Sherman--Morrison--Woodbury formula.

研究の動機と目的

• 悪条件な行列に対するピvotingなしガウスの消去法の数値的不安定性を、ランダム化前処理を導入することで解消する。
• ピvotingや直交化を伴わない、数値的ランク、特異部分空間、低ランク近似を計算するための効率的アルゴリズムを開発する。
• ランダム化を用いて、ブロックガウスの消去法および行列三角化の適用範囲を悪条件な行列へ拡張する。
• 密度の高いガウス行列の代替として、疎で構造的な乱数行列（例：巡回型、ハウスドルフ型）が前処理において数値的安定性を維持できるかを調査する。
• ランダムトーペリッツ行列および巡回行列の条件数に関する理論的境界を導出し、シャーマン＝モリソン＝ウッドベリーの公式を拡張する。

提案手法

• 悪条件な行列 $ A $ を、確率的に良好に条件付けられるようにランダム行列 $ X $ と $ Y $ で前処理し、$ XAY $ が高確率で良好に条件付けられるようにする。
• 計算コストを削減しながらも数値的安定性を保持するため、スパースなランダム符号（$\pm 1$）を伴うガウス型、巡回型、ハウスドルフ型行列を乗算子として用いる。
• ランダム行列の逆行列ノルムに関する確率的境界を用いて、$ \kappa(XAY) $ が小さい可能性が高いことを証明し、安定なガウスの消去法を保証する。
• ランダム行列が確率1で良好に条件付けられることを活用し、行列計算における後向き誤差安定性を実現する。
• 転置をヘルミート転置に置き換え、特異値およびノルムに関する確率的境界を適応させることで、複素行列へも結果を拡張する。
• シャーマン＝モリソン＝ウッドベリーの公式およびその変種を用いて、行列逆行列の更新や構造的線形方程式系の効率的解法を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化前処理により、悪条件な行列に対するピvotingなしガウスの消去法は安定化可能か？
• RQ2 疎で構造的な乱数行列（例：巡回型、ハウスドルフ型）は、数値的安定性を維持する上で、密度の高いガウス行列にどの程度置き換え可能か？
• RQ3 ランダムトーペリッツ行列および巡回行列の条件数に関する理論的境界は何か？
• RQ4 ピvotingや直交化を伴わず、低ランク近似および数値的ランクをどのように計算できるか？
• RQ5 シャーマン＝モリソン＝ウッドベリーの公式は、ランダム化行列計算における効率性向上に拡張可能か？

主な発見

• ガウス型乱数行列による前処理により、ピvotingなしガウスの消去法が確率1で数値的に安定することが保証される。
• スパースで構造的な乱数行列（例：$\pm 1$符号を伴う巡回型またはハウスドルフ型）を用いることで、前処理の効果が維持され、数値的実験でもその有効性が示された。
• 行列 $ A $ の条件数は、ランダム行列 $ X $ と $ Y $ で乗算された後、$ \kappa(XAY) \leq \kappa(A)/\kappa(X)\kappa(Y) $ として低下する可能性が高く、条件付けの改善が示唆される。
• ランダム行列の逆行列ノルムに関する確率的境界から、$ \text{Pr}(\|A^{-1}\| > 1/y) \to 0 $ が $ y \to 0 $ の際に $ y $ に比例して減少することが示され、安定性が裏付けられる。
• ランダムトーペリッツ行列および巡回行列の条件数に関する理論的推定値が導出され、良好な性質を示した。
• シャーマン＝モリソン＝ウッドベリーの公式の拡張が開発され、ランダム化アルゴリズムにおける行列逆行列計算および低ランク更新の高速化に応用された。