[論文レビュー] A Scalable CUR Matrix Decomposition Algorithm: Lower Time Complexity and Tighter Bound

Shusen Wang, Zhihua Zhang+1 more|arXiv (Cornell University)|Oct 4, 2012

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 17

ひとこと要約

本稿では、既存手法よりもタイトな相対誤差バインディングと低い時間計算量を達成する、新たな確率的CUR行列分解アルゴリズムを提案する。適応的列抽出と、双対集合スパース化および適応的抽出を用いた二段階の行選択戦略を組み合わせることで、計算コストを 𝒪(mnkε⁻²ᐟ³ + (m+n)k³ε⁻²ᐟ³) に低減しつつ、(1+ε)-相対誤差近似を維持する。これは大規模行列に対するスケーラビリティを顕著に向上させる。

ABSTRACT

The CUR matrix decomposition is an important extension of Nyström approximation to a general matrix. It approximates any data matrix in terms of a small number of its columns and rows. In this paper we propose a novel randomized CUR algorithm with an expected relative-error bound. The proposed algorithm has the advantages over the existing relative-error CUR algorithms that it possesses tighter theoretical bound and lower time complexity, and that it can avoid maintaining the whole data matrix in main memory. Finally, experiments on several real-world datasets demonstrate significant improvement over the existing relative-error algorithms.

研究の動機と目的

• 既存のCURアルゴリズムの計算コストの高さと弱い理論的バインディングという限界を解消すること。
• 大規模行列における実用性を高めるために、必要な列と行の数を削減すること。
• 全データ行列をメインメモリに保持する必要がないようにする手法を開発すること。
• 先行研究よりも改善された理論的保証を得る(1+ε)-相対誤差近似を達成すること。
• 理論的・実践的両面で最先端手法を上回る計算効率の良いアルゴリズムを設計すること。

提案手法

• 二段階のCURアルゴリズムを提案：まず、近似特異値分解に基づく適応的抽出法を用いて列を選択し、次に双対集合スパース化と追加の適応的抽出を用いて行を選択する。
• 入力行列 A の低ランク近似を、O(mnk/ε₀) 時間で近似切断特異値分解を用いて行う。
• 残留行列 (Aᵀ − Ãₖᵀ) と射影行列 Ũₖᵀ から、r₁ 行を選択する双対集合スパース化を適用し、フロベニウスノルム誤差が低いことを保証する。
• 再構成誤差をさらに低減するために、r₂ 個の追加行を選択する適応的抽出アルゴリズムを適用し、r₂ ≈ 2ρ/ε とする。
• 選択された列 C と行 R を組み合わせて CUR 分解を構築し、U を C†AR† として計算する。
• 確率的抽出の期待値を用いて理論的バインディングを導出。期待誤差が (1+ε)‖A−Aₖ‖_F² で有界であることを示す。

実験結果

リサーチクエスチョン

• RQ1 (1+ε)-相対誤差バインディングを維持しつつ、時間計算量を低減したCUR分解を構築することは可能か？
• RQ2 既存の最先端手法と比較して、必要な列と行の数を削減することは可能か？
• RQ3 全行列をメインメモリに保持しないCURアルゴリズムを設計することは可能か？
• RQ4 新しい抽出戦略により、よりタイトな理論的誤差バインディングを達成することは可能か？
• RQ5 実世界のデータセットにおいて、提案手法は既存の相対誤差CURアルゴリズムを実践的に上回るか？

主な発見

• 提案手法は、Drineasら (2008) の最先端手法よりもタイトな理論的バインディングを達成する(1+ε)-相対誤差近似を実現した。
• 時間計算量は 𝒪(mnkε⁻²ᐟ³ + (m+n)k³ε⁻²ᐟ³) に低減され、切断特異値分解の 𝒪(mn²k) および先行CUR手法の 𝒪(k⁴ε⁻⁶) と比較して顕著に低い。
• 期待値として O(kε⁻²ᐟ³) 列と O(kε⁻²ᐟ³) 行しか必要とせず、先行研究と比較してサンプリング対象の数を削減した。
• ストリーミングおよび抽出技術を用いることで、全行列をメインメモリに保持する必要がなくなり、メモリ効率が向上した。
• 実世界のデータセットを用いた実験では、既存の相対誤差CURアルゴリズムと比較して、近似精度と実行時間の両面で顕著な改善が得られた。
• 期待フロベニウスノルム誤差が (1+2ε)‖A−Aₖ‖_F² で有界であることが示され、平方根を適用することで期待誤差が (1+ε)‖A−Aₖ‖_F となることが確認され、(1+ε)-相対誤差保証が裏付けられた。