[論文レビュー] Towards More Efficient Symmetric Matrix Sketching and the CUR Matrix Decomposition

Shusen Wang, Zhihua Zhang+1 more|arXiv (Cornell University)|Mar 29, 2015

Matrix Theory and Algorithms参考文献 7被引用数 5

ひとこと要約

本稿では、行列スケッチングとニストローム法を組み合わせた新規ハイブリッド手法、Sketch-Nyströmを提案する。この手法により、$1+\epsilon$の相対誤差精度を満たす線形時間の対称行列近似が実現可能となり、大規模な対称行列における固有値計算やカーネル学習が効率的に行える。従来のスケッチング手法の2次時間計算量や、純粋なニストローム法の低精度に比べ顕著な改善が得られる。

ABSTRACT

Matrix sketching schemes and the Nystr\om method have both been extensively used to speed up large-scale eigenvalue computation and kernel learning methods. Matrix sketching methods produce accurate matrix approximations, but they are only computationally efficient on skinny matrices where one of the matrix dimensions is relatively small. In particular, they are not efficient on large square matrices. The Nystr\om method, on the other hand, is highly efficient on symmetric (and thus square) matrices, but can only achieve low matrix approximation accuracy. In this paper we propose a novel combination of the sketching method and the Nystr\om method to improve their efficiency/effectiveness, leading to a novel approximation which we call the Sketch-Nystr\om method. The Sketch-Nystr\om method is computationally nearly as efficient as the Nystr\om method on symmetric matrices with approximation accuracy comparable to that of the sketching method. We show theoretically that the Sketch-Nystr\om method can potentially solve eigenvalue problems and kernel learning problems in linear time with respect to the matrix size to achieve $1+\epsilon$ relative-error, whereas the sketch methods and the Nystr\om method cost at least quadratic time to attain comparable error bound. Our technique can be straightforwardly applied to make the CUR matrix decomposition more efficiently computed without much affecting the accuracy. Empirical experiments demonstrate the effectiveness of the proposed methods.

研究の動機と目的

• 大規模な正方対称行列における行列スケッチングの非効率性を解消すること。
• 対称行列設定におけるニストローム法の低精度な近似性能を克服すること。
• ニストローム法の計算効率とスケッチングの高精度を組み合わせたハイブリッド手法を開発すること。
• 対称行列近似を$1+\epsilon$の相対誤差保証で線形時間で計算可能にする仕組みを提供すること。
• 精度を犠牲にすることなく、CUR行列分解の効率を向上させること。

提案手法

• 行列スケッチングとニストローム法を統合することで、新規の行列近似フレームワーク、Sketch-Nyström法を提案する。
• ランダム射影を用いて対称行列をスケッチし、スペクトル構造を保持したまま次元削減を行う。
• スケッチされた行列にニストローム法を適用することで、対称性を活用し計算を高速化する。
• 理論的境界を導出し、本手法が線形時間で$1+\epsilon$の相対誤差近似を達成できることを示す。
• 得られた低ランク近似を活用して、CUR分解を効率的に計算する。
• 標準的なスケッチングと同等の高精度を維持しながら、ニストローム法並みの計算効率を達成することを保証する。

実験結果

リサーチクエスチョン

• RQ1 対称行列上において、スケッチングの精度とニストローム法の効率性を統合したハイブリッド手法を設計可能か？
• RQ2 このようなハイブリッド手法の近似誤差に対して、どのような理論的保証を確立できるか？
• RQ3 提案手法は、対称行列に対して線形時間で$1+\epsilon$の相対誤差近似を達成できるか？
• RQ4 精度と計算コストの両面において、標準的スケッチング法およびニストローム法と比較して、Sketch-Nyström法はどのように差をつけるか？
• RQ5 本手法は、CUR行列分解の高速化に効果的に応用可能か？

主な発見

• Sketch-Nyström法は、対称行列に対して線形時間で$1+\epsilon$の相対誤差近似を達成し、標準的スケッチング法およびニストローム法を上回る性能を示す。
• 計算コストを2次時間から線形時間へ削減しながらも、高い近似精度を維持している。
• 実験的結果から、大規模な対称行列において、速度と精度の優れたトレードオフが実現されていることが確認された。
• 精度の損失を最小限に抑えつつ、CUR行列分解の効率的計算を可能にした。
• 理論的分析により、$1+\epsilon$の相対誤差近似を達成するための時間計算量において、本手法が最適であることが示された。
• 本手法は、カーネル学習や固有値問題への直接応用が可能であり、大規模な対称データにおける計算を顕著に高速化できる。