[論文レビュー] An Efficient, Sparsity-Preserving, Online Algorithm for Low-Rank Approximation

David G. Anderson, Ming Gu|arXiv (Cornell University)|Feb 18, 2016

Sparse and Compressive Sensing Techniques参考文献 35被引用数 3

ひとこと要約

本稿では、スパース性を保ちながら効率的な低ランク行列近似を実現するオンラインアルゴリズムとして、スペクトルを露わにするLU分解（SRLU）を提案する。ランダム化サンプリングと決定的後続手順を組み合わせることで、SVDと同等の精度を達成しつつ、計算量の点でSVDと競合可能な性能を発揮し、スパース性を維持するとともに、効率的なオンライン更新を可能にする。

ABSTRACT

Low-rank matrix approximation is a fundamental tool in data analysis for processing large datasets, reducing noise, and finding important signals. In this work, we present a novel truncated LU factorization called Spectrum-Revealing LU (SRLU) for effective low-rank matrix approximation, and develop a fast algorithm to compute an SRLU factorization. We provide both matrix and singular value approximation error bounds for the SRLU approximation computed by our algorithm. Our analysis suggests that SRLU is competitive with the best low-rank matrix approximation methods, deterministic or randomized, in both computational complexity and approximation quality. Numeric experiments illustrate that SRLU preserves sparsity, highlights important data features and variables, can be efficiently updated, and calculates data approximations nearly as accurately as possible. To the best of our knowledge this is the first practical variant of the LU factorization for effective and efficient low-rank matrix approximation.

研究の動機と目的

• 大規模なデータ解析における、効率的でスケーラブルかつスパース性を保つ低ランク行列近似のニーズに対応する。
• 切り捨てられた形での標準的なLU分解には安定性とスペクトルを露わにする性質が欠けるという限界を克服する。
• 逐次的更新をサポートし、重要なデータの特徴量や変数を同定できるオンラインアルゴリズムを開発する。
• 行列のランクにかかわらず、最良の低ランク近似の定数倍以内の近似精度を達成する。
• 行列近似および特異値近似の品質について、理論的誤差バウンディングと実験的検証を提供する。

提案手法

• スペクトルを露わにするための置換行列 Π₁ と Π₂ を用いた、切り捨てられたLU分解であるスペクトルを露わにするLU（SRLU）を提案する。
• ピボットに寄与する高影響度の行と列を効率的に同定するため、ランダム化サンプリングを用いることで、スケーラブルな計算を実現する。
• ランダムサンプリングの後に決定的プロセスを適用し、高品質な低ランク近似を保証する。
• 現代のアーキテクチャでのパフォーマンス最適化のため、ブロッキングとブロック単位のLU分解（クラウト方式）を統合する。
• ピボットと行列更新戦略を注意深く設計することで、因子分解中の非ゼロ要素の増加（fill-in）を最小限に抑えることで、スパーシティを維持する。
• スペクトルを露わにするピボットの前に行うスケーリング係数による重み付けを通じて、古いデータを再スケーリングし、オンライン更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模な低ランク近似において、切り捨てられたLU分解をスペクトルを露わにする性質と計算効率の両立させることは可能か？
• RQ2 各ステップで行列全体へのアクセスを必要とせずに、オンラインで逐次的な設定において完全ピボットを実用的に実現するにはどうすればよいか？
• RQ3 提案されたSRLUアルゴリズムは、標準的なLUやSVDと比較して、スパースな入力行列のスパーシティをどの程度効果的に保持するか？
• RQ4 SRLUの理論的近似誤差バウンディングは、最適な低ランク近似に対してどの程度のものか？
• RQ5 SRLUの性能は、SVDや他のランダム化または決定的低ランク手法と比較して、精度と速度の両面でどの程度か？

主な発見

• SRLUは、最良の低ランク近似の定数倍以内の精度で低ランク近似を達成し、切り捨てられたSVDの理論的性能と一致する。
• スパーシティの維持が効果的である：実験では、SRLUは非ゼロ要素をそれぞれ1,570（oscil_dcop）、62.7K（g7jac020）、2.2K（tols1090）、184K（mhd1280a）で維持し、LUやSVDと比較して顕著に低い値を示した。
• SRLUの相対誤差は、oscil_dcopで最小1.03e-3、mhd1280aで4.98e-6にまで低下し、高い近似品質を示した。
• コアアルゴリズムであるTRLUCPは、最適なブロックサイズを使用した場合、LAPACKのDGETRFの2倍まで高速であり、標準的な右向きLUよりも計算時間で優れた性能を示した。
• 古いデータを再重み付けすることで、オンライン更新を可能にし、陳腐化した観測値の重要度を低下させることで、動的データ近似を実現した。
• 理論的分析により、SRLUが行列近似および特異値近似の両方の誤差バウンディングを提供することが確認され、堅牢性と信頼性が保証された。