[論文レビュー] CUR Low Rank Approximation at Deterministic Sublinear Cost

Qi Luan, Victor Y. Pan+1 more|arXiv (Cornell University)|Jul 21, 2019

Matrix Theory and Algorithms参考文献 8被引用数 4

ひとこと要約

本稿では、対称正定値（SPSD）行列に対するCUR低ランク近似（LRA）の決定的で部分線形コストのアルゴリズムを提示し、最適な境界の$(1+\epsilon)n$倍以内の相対誤差を達成する。この手法は、1回のクロス近似（C-A）反復ループを用いて最大ボリューム部分行列を活用し、このクラスの行列における部分線形LRAの経験的効率性に対する最初の形式的裏付けを提供する。

ABSTRACT

A matrix algorithm runs at {\em sublinear cost} if it uses much fewer memory cells and arithmetic operations than the input matrix has entries. Such algorithms are indispensable for Big Data Mining and Analysis. Quite typically in that area the input matrices are so immense that realistically one can only access a small fraction of all their entries but can access and process at sublinear cost their Low Rank Approximation {\em (LRA)}. Can, however, we compute LRA at sublinear cost? Adversary argument shows that the output of any algorithm running at sublinear cost is extremely far from LRA of the worst case input matrices and even of the matrices of small families of our Appendix, but we prove that some deterministic sublinear cost algorithms output reasonably close LRA in a memory efficient form of CUR LRA if an input matrix admits LRA and is Symmetric Positive Semidefinite or is very close to a low rank matrix. The latter result is technically simple but provides some (very limited but long overdue) support for the well-known empirical efficiency of sublinear cost LRA by means of Cross-Approximation. We demonstrate the power of application of such LRA by turning the Fast Multipole celebrated Method into Superfast Multipole Method. The design and analysis of our algorithms rely on extensive prior study of the link of LRA of a matrix to maximization of its volume.

研究の動機と目的

• ビッグデータ応用における部分線形コストLRAアルゴリズムの経験的成功を裏付ける理論的根拠の欠如という長年のギャップを埋める。
• 入力行列が対称正定値（SPSD）または低ランクに近い場合のCUR低ランク近似に形式的保証を提供する。
• 一般行列に対してはその保証が不可能であるという敵対的議論を克服し、決定的で部分線形コストのアルゴリズムがSPSD行列に対して妥当な精度のLRAを生成できることを示す。
• 最大ボリューム部分行列と有効なCUR LRAとの間の理論的リンクを確立し、クロス近似の実用的利用を支援する。
• 効率的なLRAを用いて高速多重極子法（Fast Multipole Method）をスーパー高速多重極子法（Superfast Multipole Method）に変換可能であり、実世界への影響を示す。

提案手法

• 1回のクロス近似（C-A）反復ループを用いて、最大ボリュームを持つ$p \times r$または$r \times q$部分行列を計算し、ランク-$r$行列における近似的に最適なCUR LRAを保証する。
• 最大ボリューム部分行列とCUR LRAとの関係を活用し、部分行列のボリュームが近似の品質を決定することを基盤とする。
• 全行列の$mn$個の要素に比べてはるかに少ない$O((m+n)r)$個の要素にのみアクセスすることで、部分線形コストで実行される決定的アルゴリズムを設計する。
• 理論的枠組みを応用して、高速多重極子法をスーパー高速多重極子法に変換し、計算複雑性を低減する。
• SPSD行列がLRAを許容する場合、出力されるCUR LRAの相対誤差が最適境界の$(1+\epsilon)n$倍以内であることを証明する。ただし、$n/r \in O(1/\epsilon)$を満たす必要がある。
• 確率的サンプリングや反復的改善に依存せず、ボリューム最大化を低ランク近似の品質の代理として用いる。

実験結果

リサーチクエスチョン

• RQ1 決定的で部分線形コストのアルゴリズムが、対称正定値行列に対して妥当な精度のCUR低ランク近似を達成できるか？
• RQ2 クロス近似（C-A）が部分線形コストでLRAを計算するという経験的成功の背後にある理論的裏付けは何か？
• RQ3 部分線形アルゴリズムの文脈において、部分行列の最大ボリュームと得られるCUR LRAの品質との関係は何か？
• RQ4 一般行列に対してはその保証が不可能であるという敵対的議論を踏まえても、任意の行列クラスに対して部分線形コストLRAを形式的に保証できるか？
• RQ5 部分線形コストLRAを用いることで、高速多重極子法はどの程度高速化できるか？その数値計算へのインパクトは何か？

主な発見

• 提案された決定的で部分線形コストのアルゴリズムは、任意の$n \times n$対称正定値行列（LRAが許容されるもの）に対して、相対誤差が最適境界の$(1+\epsilon)n$倍以内であることを達成する。
• この境界は、$n/r \in O(1/\epsilon)$を満たす条件のもとで成り立ち、許容誤差$\epsilon$に対して近似の品質が制御可能であることを保証する。
• 1回のC-A反復ループにより、有界な要因内で最大ボリューム部分行列が計算され、低ランクに近い行列に対して許容誤差のCUR LRAが可能になる。
• この結果は、クロス近似による部分線形LRAの長年の経験的効率性に対する、初めての形式的理論的裏付けを提供する。
• この手法により、高速多重極子法をスーパー高速多重極子法に変換可能であり、数値線形代数分野における実用的影響を示す。
• 確率的サンプリングを回避し、ボリューム最大化に依存することで、従来の確率的部分線形LRAアルゴリズムとは異なり、決定的かつメモリ効率の良い代替手段を提供する。