[論文レビュー] Improving CUR Matrix Decomposition and the Nyström Approximation via Adaptive Sampling

Shusen Wang, Zhihua Zhang|arXiv (Cornell University)|Mar 18, 2013

Sparse and Compressive Sensing Techniques参考文献 49被引用数 149

ひとこと要約

本稿では、データ行列に制限のない仮定を必要とせず、相対誤差の上限を改善するためのアダプティブサンプリングアルゴリズムをCUR行列分解およびノイストローム近似に提案する。一般化された誤差上限を活用することで、時間計算量が低く、メモリ使用量も削減され、理論的および実践的に標準的およびアンサンブルNyström法を凌駆する低ランク行列近似を実現する。

ABSTRACT

The CUR matrix decomposition and the Nyström approximation are two important low-rank matrix approximation techniques. The Nyström method approximates a symmetric positive semidefinite matrix in terms of a small number of its columns, while CUR approximates an arbitrary data matrix by a small number of its columns and rows. Thus, CUR decomposition can be regarded as an extension of the Nyström approximation. In this paper we establish a more general error bound for the adaptive column/row sampling algorithm, based on which we propose more accurate CUR and Nyström algorithms with expected relative-error bounds. The proposed CUR and Nyström algorithms also have low time complexity and can avoid maintaining the whole data matrix in RAM. In addition, we give theoretical analysis for the lower error bounds of the standard Nyström method and the ensemble Nyström method. The main theoretical results established in this paper are novel, and our analysis makes no special assumption on the data matrices.

研究の動機と目的

• 特定のデータ構造を仮定しない標準的CURおよびNyström法の限界、すなわち高い近似誤差と理論的保証の欠如を是正する。
• 特別な仮定を必要とせず任意のデータ行列に適用可能な、アダプティブカラム/ローのサンプリングのより一般的な誤差上限を構築する。
• 既存の確率的手法を上回る精度を実現する、期待される相対誤差上限を持つ新しいCURおよびNyströmアルゴリズムを設計する。
• 完全な行列の保存を避けることで、時間計算量を低く抑え、最小限のRAM使用量を確保し、大規模データに適したアプローチを実現する。
• 標準的およびアンサンブルNyström法の近似誤差に対する理論的下界を提示し、これらの手法の性能限界を確立する。

提案手法

• リッジスコアおよびスペクトル特性に基づき、行列近似におけるアダプティブカラム/ローのサンプリングの一般化誤差上限を導入する。
• この上限を用いて、低ランク構造への寄与度に応じて高い確率でカラムおよびローを選択する新しいアダプティブサンプリング戦略を設計する。
• 選択された $ c $ 個のカラムと $ r $ 個のローをアダプティブに選択し、それらの交差部分の擬似逆行列として中間行列 $ extbf{W} $ を計算することで、CUR分解を構築する。
• 同じアダプティブサンプリングフレームワークをノイストローム法に適用し、対称正定値行列を部分的なカラムの集合によって近似する。
• 独立な $ t $ 個のサンプルを平均化することで安定性と分散の低減を図るアンサンブルNyström法を導入する。
• Frobeniusノルムおよび核ノルムにおける近似誤差の理論的上限を導出し、誤差が $ (1- heta) $ に比例することを示す。ここで $ heta $ はサンプリングバイアスを制御する。

実験結果

リサーチクエスチョン

• RQ1 特定のデータ構造を仮定しないで、アダプティブサンプリングがCURおよびNyström近似の相対誤差上限を改善できるか？
• RQ2 標準的およびアンサンブルNyström法の近似誤差に対する理論的下界は何か？
• RQ3 一様サンプリングまたはリッジスコアに基づくサンプリングと比較して、アダプティブサンプリングは誤差および計算効率においてどのように異なるか？
• RQ4 提案手法は、低時間計算量および最小限のメモリフットプリントを維持しながら、相対誤差上限を達成できるか？
• RQ5 アンサンブル平均化は、Nyström近似の安定性および精度にどのような影響を与えるか？

主な発見

• 提案されたアダプティブサンプリングアルゴリズムは、入力行列に特別な仮定を必要とせず、CURおよびNyström近似の両方において期待される相対誤差上限を達成する。
• アンサンブルNyström法のFrobeniusノルム誤差上限は、$ (1- heta)^2 igg{[}ig{(}m-2c+rac{c}{t}-kig{)}+kigg{(}rac{m-c+rac{c}{t}+krac{1- heta}{ heta}}{c+krac{1- heta}{ heta}}igg{)}^{2}igg{]} $ で下界付けられており、アダプティブサンプリングによる収束の改善が示されている。
• アンサンブルNyström法の核ノルム誤差上限は少なくとも $ (1- heta)(m-c)rac{c+rac{1}{ heta}k}{c+rac{1- heta}{ heta}k} $ であると示され、強い理論的保証が得られている。
• 本稿では、アンサンブルNyström法の相対誤差比に対する下界を確立し、最悪ケースで $ rac{m-c}{m-k}ig{(}1+rac{k}{c}ig{)} $ に達する可能性があることを示している。
• 理論的分析により、標準的Nyström法は一般に相対誤差上限を達成できないことが確認され、アダプティブサンプリングの優位性が浮き彫りにされた。
• 本手法は完全な行列をRAMに保持せず、低時間計算量を維持するため、大規模かつスパースな行列に適している。