[論文レビュー] Low-Rank Matrix Approximations with Flip-Flop Spectrum-Revealing QR Factorization

Yuehua Feng, Jianwei Xiao+1 more|arXiv (Cornell University)|Mar 6, 2018

Tensor decomposition and applications参考文献 59被引用数 3

ひとこと要約

この論文では、スペクトラムリー・リーディングQR（SRQR）と部分的LQ分解を組み合わせた、高速で信頼性の高い低ランク行列近似手法であるFlip-Flop SRQRを紹介する。特徴は、切り捨てられた特異値分解（SVD）と同等の精度を達成しながら、計算コストを低く抑え、特異値が急速に減少する行列において、ランダム化された部分空間反復法よりも高速でありながら高い精度を維持することである。

ABSTRACT

We present Flip-Flop Spectrum-Revealing QR (Flip-Flop SRQR) factorization, a significantly faster and more reliable variant of the QLP factorization of Stewart, for low-rank matrix approximations. Flip-Flop SRQR uses SRQR factorization to initialize a partial column pivoted QR factorization and then compute a partial LQ factorization. As observed by Stewart in his original QLP work, Flip-Flop SRQR tracks the exact singular values with "considerable fidelity". We develop singular value lower bounds and residual error upper bounds for Flip-Flop SRQR factorization. In situations where singular values of the input matrix decay relatively quickly, the low-rank approximation computed by SRQR is guaranteed to be as accurate as truncated SVD. We also perform a complexity analysis to show that for the same accuracy, Flip-Flop SRQR is faster than randomized subspace iteration for approximating the SVD, the standard method used in Matlab tensor toolbox. We also compare Flip-Flop SRQR with alternatives on two applications, tensor approximation and nuclear norm minimization, to demonstrate its efficiency and effectiveness.

研究の動機と目的

• 低ランク行列近似のためのQLPおよびランダム化されたSVDの代替手段として、より高速で信頼性の高い手法を開発すること。
• スペクトラムリー・リーディングQR分解を活用することで、特異値を高い忠実度で追跡し、低ランク近似の高精度を保証すること。
• 特に大規模データ応用において、ランダム化された部分空間反復法などの既存手法と比較して、計算コストを低減すること。
• 近似における特異値の下界および残差誤差の上界について、理論的保証を提供すること。
• テンソル近似やノルム最小化の分野における実世界の応用において、有効性を示すこと。

提案手法

• スペクトラムリー・リーディングQR（SRQR）を用いて部分的列ピボットQR分解を初期化することで、数値的安定性と特異値の正確な追跡を確保する。
• SRQR段階で得られた上三角行列に対して、部分的LQ分解を実行する。
• 初期のQRフェーズを高速化するために、切り捨てられたランダム化QRCP（TRQRCP）を用いるが、スペクトラムリー・リーディング特性を保持する。
• アルゴリズムは、スチュアートの元々のQLP研究で観察された「顕著な忠実度」を維持するように設計されており、正確な特異値追跡を実現する。
• 特異値および残差誤差のための理論的境界が導出され、特異値が急速に減少する条件下で、切り捨てられたSVDと同等の近似品質が保証される。
• 複雑性解析により、同じ精度においてランダム化された部分空間反復法よりもFlip-Flop SRQRが高速であることが示され、特に特異値が急速に減少する場合に顕著である。

実験結果

リサーチクエスチョン

• RQ1 スペクトラムリー・リーディング特性を有するハイブリッドQR-LQ分解は、低い計算コストでSVDに類似した精度を達成できるか？
• RQ2 Flip-Flop SRQRは、ランダム化された部分空間反復法や他の最先端の低ランク近似手法と比較して、精度と速度の両面でどのように異なるか？
• RQ3 Flip-Flop SRQRは、切り捨てられたSVDと同等の近似品質を保証する条件は何か？
• RQ4 Flip-Flop SRQR近似における特異値および残差誤差に、どのような理論的境界を確立できるか？
• RQ5 Flip-Flop SRQRは、テンソル近似やノルム最小化といった実用的応用において、どれほど有効か？

主な発見

• 特異値が急速に減少する場合、Flip-Flop SRQRは切り捨てられたSVDと同等の低ランク近似精度を達成する。
• 同じ精度において、ランダム化された部分空間反復法よりもFlip-Flop SRQRが高速であり、複雑性解析により、約(4q + 4)mn(k + p) flopsのコストであるが、定数係数が低い。
• テンソル近似において、Flip-Flop SRQRは、最良の性能を示した手法（TUXV）の1.5%以内の相対誤差を達成しながら、はるかに高速であった。
• 核ノルム最小化（行列補完）において、Flip-Flop SRQRは相対誤差1.00e+00、実行時間1.20e+03秒を達成し、IALM-RSISVDおよびIALM-LTSVDと同等の性能を示した。
• 理論的解析により、Flip-Flop SRQRが信頼性の高い特異値の下界および残差誤差の上界を提供することが確認され、耐障害性が保証された。
• 実験的結果から、PCA、顔認識、情報検索を含む多様な応用において、Flip-Flop SRQRは高い精度を維持しながら、計算効率が向上していることが示された。