[論文レビュー] CUR Low Rank Approximation of a Matrix at Sublinear Cost

Go, Soo, Qi Luan+3 more|arXiv (Cornell University)|Jun 10, 2019

Sparse and Compressive Sensing Techniques参考文献 40被引用数 6

ひとこと要約

本稿は、広範な行列クラス（特に摂動付き要因ガウス行列を含む）に対して、低ランク近似（LRA）をサブラインアーコストで実行するCUR法の理論的保証を確立する。クロス近似（C-A）と基本的アルゴリズムを用い、ほとんどの低ランク構造に近い行列に対して、高い確率（whp）で精度の高いLRAを計算可能であることを証明。特に、ランダム事前処理を組み合わせることで性能が向上し、C-Aと確率的スケッチング手法との理論的関連性も示している。

ABSTRACT

Low rank approximation of a matrix (hereafter LRA) is a highly important area of Numerical Linear and Multilinear Algebra and Data Mining and Analysis. One can operate with an LRA at sublinear cost -- by using much fewer memory cells and flops than an input matrix M has entries. For worst case inputs one cannot compute even a reasonably close LRA at sublinear cost, but in computational practice accurate LRAs, even in their memory efficient form of CUR LRAs, are routinely obtained at sublinear cost for large and important classes of matrices, in particular by means of Cross-Approximation iterations, which specialize Alternating Direction techniques to LRA. We identify some classes of matrices for which CUR LRA are computed at sublinear cost as well as some sublinear cost LRA algorithms that are empirically accurate for large classes of inputs. Some of our techniques and concepts can be of independent interests.

研究の動機と目的

• クロス近似（C-A）反復がサブラインアーコストで精度の高い低ランク近似を達成するという経験的成果を形式的に正当化すること。
• 低ランク構造に近い行列を十分に近いものとして許容する広範なクラスの行列に対して、特にC-Aおよび基本的アルゴリズムを含むサブラインアーLRAアルゴリズムの精度を分析すること。
• ガウス分布、SRHT、ラデマッハ行列などを用いたランダム事前処理により、任意の低ランク近似が可能な行列が、摂動付き要因ガウス行列に変換され、これにより正確なサブラインアーLRAが可能になることを示すこと。
• 事前処理と体積最大化の原則を用いて、C-A反復と確率的／スケッチングLRAアルゴリズムとの理論的関連を確立すること。
• 初期のサブラインアーLRAを反復的に精錬することで、初期近似が粗くても精度が向上することを示すこと。

提案手法

• 低ランク近似が可能である広範な行列のサブクラスをなす「摂動付き要因ガウス行列」を定義し、独立同一分布に従う標準ガウス分布の要素を持つ行列 $G$ と $H$ を用いて定義する。
• 部分行列の体積最大化を用いて「弱最大射影体積」を定義し、C-Aおよび基本的アルゴリズムが高体積部分行列を選びがけることを示す。
• 集中不等式と和集合の上限を用いて、選択された部分行列の体積と最大体積との比に対する高確率の境界を導出する。
• 二面から要因ガウス行列 $W = G\Sigma H$ に対して、$p,q > 2r$ 個の行・列を有する部分行列 $W_{\mathcal{I},\mathcal{J}}$ が、高確率で $\big(\frac{1+\theta}{1-\phi}\big)^r \big(\frac{(p+r)(q+r)}{pq}\big)^{r/2}$-弱最大 $r$-射影体積であることを証明する。
• ガウス分布、SRHT、ラデマッハ行列によるランダム事前処理により、任意の低ランク近似が可能な行列が、小さなノルムの摂動を受ける要因ガウス行列に変換されることを示し、これによりC-Aや基本的アルゴリズムによる正確なサブラインアーLRAが可能になる。
• 事前処理下でC-A反復の挙動と確率的・スケッチングLRAアルゴリズムが等価であることを示し、従来見過ごされていた関連性を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 C-Aや基本的アルゴリズムといったサブラインアーコストLRAアルゴリズムは、低ランク構造に近い広範な行列クラスに対して、正確なCUR近似を計算できるか？
• RQ2 摂動付き要因ガウス行列に対してC-Aおよび基本的アルゴリズムの理論的精度保証は何か？ これは最適解にどの程度近いか？
• RQ3 ガウス分布やラデマッハ行列によるランダム事前処理は、一般行列のサブラインアーLRAの精度をどのように向上させるか？
• RQ4 C-A反復と確率的／スケッチングLRAアルゴリズムとの関係は何か？ これを形式化できるか？
• RQ5 初期のサブラインアーLRAを反復的に精錬することで、精度をさらに向上させられるか？ どのような条件下でそれが成立するか？

主な発見

• C-Aおよび基本的アルゴリズムは、低ランク構造に近い広範な行列クラス、特に摂動付き要因ガウス行列に対して、高い確率（whp）で正確なCUR LRAを計算する。
• 期待ランク $r$ の二面から要因ガウス行列 $W = G\Sigma H$ に対して、$p,q > 2r$ 個の行・列を有する部分行列 $W_{\mathcal{I},\mathcal{J}}$ は、確率 $1 - 2\exp(-\theta r/4) - 2\exp(-\phi^2 r/2)$ 以上で $\big(\frac{1+\theta}{1-\phi}\big)^r \big(\frac{(p+r)(q+r)}{pq}\big)^{r/2}$-弱最大 $r$-射影体積である。
• ガウス分布、SRHT、ラデマッハ行列によるランダム事前処理により、任意の低ランク近似が可能な行列は、小さなノルムの摂動を受ける要因ガウス行列に変換され、これによりC-Aや基本的アルゴリズムによる正確なサブラインアーLRAが可能になる。
• C-Aおよび基本的アルゴリズムが計算するLRAの期待誤差ノルムは、最適解の定数倍の範囲内に収まるが、相対誤差LRAほどは近いわけではない（つまり、任意に近いとは限らない）。
• 実験的評価では、形式的な誤差見積もりが過剰に悲観的である可能性が示され、特にC-Aアルゴリズムでは理論的境界よりも実際の性能が顕著に優れていることが示唆されている。
• 初期のサブラインアーLRAに対して反復的精錬を施すことで、特に初期近似が真の低ランク構造に十分に近い場合、顕著な精度向上が得られる。