[論文レビュー] Towards More Efficient SPSD Matrix Approximation and CUR Matrix Decomposition

Shusen Wang, Zhihua Zhang+1 more|arXiv (Cornell University)|Mar 29, 2015

Stochastic Gradient Optimization Techniques参考文献 36被引用数 21

ひとこと要約

本稿では、1+εの相対誤差精度を達成する近線形時間計算量を持つ、新規な高速SPSD行列近似モデルを提案する。このモデルは、Nyström法の効率性とプロトタイプモデルの精度を組み合わせるものである。低ランク因子分解を改善されたスケッチと制約付き最小化問題の解法によって最適化することで、線形時間のカーネル近似とCUR分解を実現する。

ABSTRACT

Symmetric positive semi-definite (SPSD) matrix approximation methods have been extensively used to speed up large-scale eigenvalue computation and kernel learning methods. The standard sketch based method, which we call the prototype model, produces relatively accurate approximations, but is inefficient on large square matrices. The Nyström method is highly efficient, but can only achieve low accuracy. In this paper we propose a novel model that we call the {\it fast SPSD matrix approximation model}. The fast model is nearly as efficient as the Nyström method and as accurate as the prototype model. We show that the fast model can potentially solve eigenvalue problems and kernel learning problems in linear time with respect to the matrix size $n$ to achieve $1+ε$ relative-error, whereas both the prototype model and the Nyström method cost at least quadratic time to attain comparable error bound. Empirical comparisons among the prototype model, the Nyström method, and our fast model demonstrate the superiority of the fast model. We also contribute new understandings of the Nyström method. The Nyström method is a special instance of our fast model and is approximation to the prototype model. Our technique can be straightforwardly applied to make the CUR matrix decomposition more efficiently computed without much affecting the accuracy.

研究の動機と目的

• 対称正定値半行列（SPSD）行列近似において、プロトタイプモデルの非効率性とNyström法の低精度という問題を解決する。
• 行列サイズnに対して線形時間計算量を達成するとともに、高い精度（1+εの相対誤差）を実現する新しいモデルを開発する。
• 固有値分解や行列逆行列の計算を、二次時間コストを回避することで高速化し、カーネル法における計算を高速化する。
• スケッチ行列と低ランク近似誤差バウンドを用いて、新しいモデルに対する理論的保証を提供する。
• 精度を損なわせることなく、CUR行列分解の効率を向上させるためにフレームワークを拡張する。

提案手法

• Nyström法とプロトタイプモデルの両方を一般化する、新規な高速SPSD行列近似モデルを提案する。
• スケッチ行列Pを用いてC = KP ∈ ℝⁿˣᶜを形成する。ここでCはカーネル行列Kの列の部分集合である。
• Uをmin_U ||K - CU Cᵀ||_F²を解くことで最適化し、高い近似精度を確保する。
• 計算コストを低減するため、列スケッチ行列S_Cと行スケッチ行列S_Rを用いた二段階スケッチプロセスを導入する。
• ランダム化SVDとレバレッジスコアサンプリングを活用し、高い確率で理論的誤差バウンドを保証する。
• 行列集中の理論的バウンドを応用して、近似誤差が最良の低ランク近似の(1+ε)倍以内に抑えられることを示す。

実験結果

リサーチクエスチョン

• RQ1 Nyström法の効率性とプロトタイプモデルの精度を両立できる新しいSPSD行列近似モデルを設計可能か？
• RQ2 行列サイズnに対して線形時間で1+εの相対誤差近似を達成することは可能か？
• RQ3 提案モデルは、Nyström法やプロトタイプモデルといった既存手法とどのように関係しているか？
• RQ4 新しいフレームワークを拡張して、精度をほとんど損なわせずにCUR行列分解の高速化を実現可能か？
• RQ5 異なるスケッチ戦略のもとで、近似誤差に対してどのような理論的保証を提供できるか？

主な発見

• 提案モデルは、c = O(k/ε)列を用いて、SPSD行列の最良のランク-k近似に対して1+εの相対誤差近似を達成する。
• cがnに依存しないことから、計算時間は線形時間O(nc²)で、固有値分解や行列逆行列の計算を線形時間で実行可能である。
• Nyström法は、提案モデルの特殊ケースであることが示され、最適でないUの計算に起因する精度の限界を内蔵している。
• 実験的比較により、提案モデルはプロトタイプモデルおよびNyström法の両方を精度と効率の面で上回ることが確認された。
• 理論的分析により、レバレッジスコアサンプリング、一様サンプリング、count sketchといった標準的なスケッチ手法のもとで、誤差バウンドが高確率で成立することが示された。
• 標準的なSPSD近似ステップを本モデルに置き換えることで、CUR行列分解の高速化に直接応用可能である。