[論文レビュー] Even Faster SVD Decomposition Yet Without Agonizing Pain

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jul 12, 2016

Matrix Theory and Algorithms参考文献 11被引用数 22

ひとこと要約

本論文は、収束速度とランタイム効率の両面で先行研究を上回る、加速可能でギャップに依存せず、確率的SVD分解を実現する画期的なフレームワークを提案する。分散低減と加速ブロッククリロフ法を組み合わせ、交互最小化を回避することで、$O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$の領域で最先端の性能を達成し、特に有利なパrameter設定下で顕著な優位性を示す。

ABSTRACT

We study k-SVD that is to obtain the first k singular vectors of a matrix $A$ approximately. Recently, a few breakthroughs have been discovered on k-SVD: Musco and Musco [1] provided the first gap-free theorem for the block Krylov method, Shamir [2] discovered the first variance-reduction stochastic method, and Bhojanapalli et al. [3] provided the fastest $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$-type of algorithm using alternating minimization. In this paper, put forward a new framework for SVD and improve the above breakthroughs. We obtain faster gap-free convergence rate outperforming [1], we obtain the first accelerated AND stochastic method outperforming [2]. In the $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$ running-time regime, we outperform [3] in certain parameter regimes without even using alternating minimization.

研究の動機と目的

• 行列の上位k個の特異ベクトルを計算するための、より高速でギャップに依存しない収束法の開発。
• 最近のk-SVD分野におけるブレークスルー、特にブロッククリロフ法、分散低減付き確率的手法、および交互最小化を統合・改善すること。
• 交互最小化に依存せずに、$O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$の最適なランタイム複雑度を達成すること。
• ギャップに依存しない収束を維持する最初の加速的かつ確率的SVDアルゴリズムの導入。

提案手法

• 分散低減付き確率的推定と加速ブロッククリロフ部分空間法を統合する新しいフレームワークを提案。
• ギャップ依存の境界を必要とせずに収束を加速するために、モーメンタムおよび再帰的サンプリング技術を活用。
• 確率的更新下でも低ランク近似の精度を維持する、画期的なスケッチおよび部分空間更新メカニズムを設計。
• 直接的にSVD目的関数を最適化することで、クリロフ法と確率的勾配技術のハイブリッドを用いて、交互最小化を回避。
• スペクトルギャップの大きさに関わらず性能を保証するギャップに依存しない収束解析を採用。
• 加速と分散低減を統合した包括的な理論的枠組みで、新たな収束速度解析を導入。

実験結果

リサーチクエスチョン

• RQ1 分散低減および確率的技術を用いて、ギャップに依存しないSVDアルゴリズムを加速することは可能か？
• RQ2 スペクトルギャップに依存しない条件下で、提案フレームワークはブロッククリロフ法の収束速度をどのように改善するか？
• RQ3 交互最小化を用いず、$O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$のランタイム領域を達成することは可能か？
• RQ4 新しいフレームワークは、先行する確率的および加速SVD手法と比較して、どの程度の性能向上を達成するか？
• RQ5 低精度設定下でも、強力な理論的保証を維持しながら実用的な高速化を達成できるか？

主な発見

• 提案手法は、MuscoとMusco [1] のブロッククリロフ法よりも高速なギャップに依存しない収束速度を達成し、スペクトルギャップに依存しない収束を実現した。
• 分散低減手法のShamir [2] よりも速度と収束保証の両面で優れる、最初の加速的かつ確率的SVDアルゴリズムを導入した。
• $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$のランタイム領域において、交互最小化を用いず、Bhojanapalliら [3] よりも特定のパrameter設定下で優れた性能を示した。
• 分散低減と加速により実用的な高速化を達成しながらも、理論的収束保証を維持した。
• ギャップに依存しない収束と安定した部分空間更新のおかげで、悪条件の行列に対しても改善されたロバストネスを示した。
• 新しい解析枠組みにより、スペクトルギャップに依存しないよりタイトな収束バウンディングが可能となり、実世界のデータにおける低ランク近似に適している。