[論文レビュー] Superfast CUR Matrix Algorithms, Their Pre-Processing and Extensions

Victor Y. Pan, Qi Luan+2 more|arXiv (Cornell University)|Oct 22, 2017

Electromagnetic Scattering and Analysis参考文献 78被引用数 5

ひとこと要約

本稿では、クロス近似（C-A）とスパースで構造的なランダム事前処理を組み合わせることで、サブラインアー時間およびメモリで正確な低ランク近似（LRA）を達成する超高速CUR行列アルゴリズムを導入する。理論的に、高い確率（whp）で、ランダム、スパース、および平均的な行列に対して、正確なCUR近似を生成できることを証明している。これにより、例えば、高速多重極法（Fast Multipole Method）において、時間計算量を2次からほぼ線形時間へと劇的に高速化できるが、精度を損なわない。

ABSTRACT

We study superfast algorithms that computes low rank approximation of a matrix (hereafter referred to as LRA) that use much fewer memory cells and arithmetic operations than the input matrix has entries. We first specify a family of 2mn matrices of size m*n such that for almost 50% of them any superfast LRA algorithm fails to improve the poor trivial approximation by the matrix filled with zeros, but then we prove that the class of all such hard inputs is narrow - the cross-approximation (hereafter {C-A}) superfast iterations as well as some more primitive superfast algorithms compute reasonably accurate LRAs in their transparent CUR form (i) to any matrix allowing close LRA except for small norm perturbations of matrices of an algebraic variety of a smaller dimension, (ii) to the average matrix allowing close LRA, (iii) to the average sparse matrix allowing close LRA and (iv) with a high probability to any matrix allowing close LRA if it is pre-processed fast with a random Gaussian, SRHT or SRFT multiplier. Moreover empirically the output LRAs remain accurate when we perform the computations superfast by replacing such a multiplier with one of our sparse and structured multipliers. Our techniques, auxiliary results and extensions may be of some independent interest. We analyze C-A and other superfast algorithms twice -- based on two well-known sufficient criteria for obtaining accurate LRAs. We provide a distinct proof in the case of superfast variant of randomized algorithms of [DMM08], improve a decade-old estimate for the norm of the inverse of a Gaussian matrix, prove such an estimate also in the case of a sparse Gaussian matrix, present some novel advanced pre-processing techniques for fast and superfast computation of LRA, and extend our results to dramatic acceleration of the Fast Multipole Method (FMM) and the Conjugate Gradient algorithms.

研究の動機と目的

• 特に構造的またはスパースな行列に対して、最悪ケースにおける理論的保証が欠如している超高速低ランク近似（LRA）アルゴリズムの課題に対処する。
• 標準的な超高速アルゴリズムが特定のランク1行列で失敗するという制限を克服するため、安定化と精度向上を目的にランダム化事前処理を導入する。
• ランダムおよび平均的な行列に対して、クロス近似（C-A）および関連する超高速アルゴリズムが、高い確率（whp）で正確なCUR近似を生成することを示す。
• C-Aの前段階にスパースで構造的なランダム乗算子を適用することで、一般行列に対する超高速LRAを実現し、精度を維持しながらサブラインアー複雑性を保つ。
• 科学的計算における計算コストの高い段階、例えば高速多重極法において、時間計算量を2次からほぼ線形時間へと削減することで高速化を実現する。

提案手法

• 入力行列に対して、スパースで構造的なランダム事前処理行列（例：ガウス分布、SRHT、SRFT）を適用し、安定性と精度を向上させる。
• 超高速でスパーシティおよび構造を保全するクロス近似（C-A）アルゴリズムを用い、事前処理済み行列からCUR近似を計算する。
• ランダム行列理論を活用し、ガウス分布または構造的ランダム行列による事前処理が、高い確率（whp）で正確なCUR近似をもたらすことを証明する。
• 密度のある事前処理乗算子をスパースで構造的なものに置き換えることで、超高速複雑性を維持しながら精度を保持する。実世界のデータを用いた広範な実証的検証により正当化されている。
• 数値線形代数とコンピュータサイエンスの知見を統合し、C-Aの改善と、特に低ランク近似および行列構造の保持という文脈における効率性の向上を図る。
• 部分空間サンプリングおよび最大ボリューム技術を用いて、情報量の多い列と行を選択し、高品質な低ランク近似を保証する。

実験結果

リサーチクエスチョン

• RQ1 最悪ケースの入力で失敗する可能性があるにもかかわらず、ランダムおよび平均的な行列に対して、超高速CURアルゴリズムが正確な低ランク近似を達成できるか？
• RQ2 構造的ランダム行列（例：SRHT、SRFT）による事前処理が、CUR近似の精度を保持しながら、サブラインアー時間複雑性を実現できるか？
• RQ3 スパースで構造的なランダム事前処理が、超高速LRAにおける密度のある乗算子に代わって使用可能であり、近似品質を低下させないか？
• RQ4 事前処理された行列にC-Aおよび関連する超高速アルゴリズムを適用した場合の、精度に関する理論的保証は何か？
• RQ5 超高速LRAが、高速多重極法のような科学的計算のボトルネック段階をどの程度高速化できるか？

主な発見

• 本稿では、クロス近似（C-A）およびその他の超高速アルゴリズムが、高い確率（whp）でランダムおよびスパース行列に対して正確なCUR低ランク近似を計算できることを証明している。
• ガウス分布、SRHT、またはSRFTのランダム行列による事前処理により、本質的に良好に条件付けられていない行列に対しても、結果として得られるCUR近似は高い確率で正確である。
• スパースで構造的なランダム事前処理行列は、超高速複雑性を維持しながらも、近似精度を保持しており、実世界のデータを用いた広範な実証的検証で確認されている。
• 提案手法により、高速多重極法のボトルネック段階の計算時間が2次からほぼ線形時間へと短縮され、顕著な高速化が達成された。
• 理論的分析により、平均的および平均的スパース行列に対しても超高速LRAが実現可能であることが示され、C-Aの適用範囲がその既知の制限を超えて拡張された。
• 数値線形代数とコンピュータサイエンスの技術的統合により、粗い超高速LRAの改善とC-Aステップの効率性向上が可能になった。