[論文レビュー] Improving CUR Matrix Decomposition and the Nystr\"{o}m Approximation via Adaptive Sampling

Shusen Wang, Zhihua Zhang|arXiv (Cornell University)|Mar 18, 2013

Sparse and Compressive Sensing Techniques参考文献 14被引用数 15

ひとこと要約

本稿では、データ行列に関する仮定なしに改善された相対誤差バインディングを達成する、CUR行列分解およびニストローム法のための適応的サンプリングアルゴリズムを提案する。適応的サンプリングの一般的な理論的バインディングを確立することで、主記憶装置に全行列を格納せずに、高い近似精度を維持しつつ、効率的で低複雑性のアルゴリズムを構築した。

ABSTRACT

The CUR matrix decomposition and Nyström method are two important low-rank matrix approximation techniques. The Nyström method approximates a positive semidefinite matrix in terms of a small number of its columns, while CUR approximates an arbitrary data matrix by a small number of its columns and rows. Thus, the CUR decomposition can be regarded as an extension of the Nyström method. In this paper we establish a more general bound for the adaptive column/row sampling algorithm, based on which we propose improved CUR and Nyström algorithms with expected relative-error bounds. The proposed CUR and Nyström algorithms also hold low time complexity and can avoid maintaining the whole data matrix in RAM. In addition, we give theoretical analysis for the lower bounds of the conventional Nyström method and the ensemble Nyström method. In our work we make no assumption on the data matrix, and our main theoretical results established in this paper are novel and encouraging.

研究の動機と目的

• 適応的サンプリングを用いて、CUR行列分解およびニストローム法の理論的保証を向上させること。
• データ行列に関する仮定を必要としない、期待される相対誤差バインディングを持つアルゴリズムを開発すること。
• 時間計算量を低減し、メインメモリに全データ行列を格納するのを避けること。
• 従来のおよびアンサンブル・ニストローム法の下界を分析すること。
• 低ランク近似に対して一般的かつ前向きな新しい理論的結果を確立すること。

提案手法

• 低ランク近似における適応的列／行サンプリングの一般的なバインディングを導出。これにより、改善されたアルゴリズムの基盤を構築。
• このバインディングに基づき、期待される相対誤差性能を保証する新しいCURおよびニストローム法のアルゴリズムを提案。
• 情報量の多い列や行を優先する適応的サンプリング戦略を採用し、近似品質を向上。
• 大規模データ処理に適した、低時間計算量のアルゴリズムを設計。
• ストリーミングまたは段階的な処理の形でデータを処理することで、全行列の格納を回避。
• 従来のおよびアンサンブル・ニストローム法の下界に関する理論的分析を提供。

実験結果

リサーチクエスチョン

• RQ1 適応的サンプリングは、どのようにCURおよびニストローム近似の相対誤差バインディングを改善できるか？
• RQ2 低ランク行列近似における適応的サンプリングの理論的性能限界は何か？
• RQ3 提案されたアルゴリズムは、データ行列に何らかの構造的仮定を置かずに高い精度を達成できるか？
• RQ4 誤差と効率の観点から、提案された手法は既存のニストローム法およびCURアプローチとどのように比較できるか？
• RQ5 従来のおよびアンサンブル・ニストローム法の理論的下界は何か？

主な発見

• 提案された適応的サンプリングアルゴリズムは、CURおよびニストローム法の両方において、改善された期待される相対誤差バインディングを達成する。
• 理論的枠組みは、データ行列に関する仮定なしに一般に適用可能であり、広範な応用が可能である。
• アルゴリズムは低時間計算量を維持し、メインメモリに全行列を格納しない。
• 本稿では、従来のおよびアンサンブル・ニストローム法の新しい理論的下界を確立した。
• 主な理論的結果は、今後の研究に対して新規的かつ前向きなものであるとされる。
• 本手法により、CURフレームワークを介してニストローム法が任意の行列に拡張され、解釈可能性と適用可能性が向上した。