[論文レビュー] LazySVD: Even Faster SVD Decomposition Yet Without Agonizing Pain

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jul 12, 2016

Blind Source Separation Techniques被引用数 33

ひとこと要約

この論文は、行列 A の上位 k 個の特異ベクトルを計算するための、新しいシンプルなフレームワークである LazySVD を導入する。この手法は 1-SVD を k 回繰り返し適用することで、従来のギャップフリーかつ確率的（stochastic）な手法よりも高速な収束を達成する。本手法は、O(nnz(A) + poly(1/ε)) の時間計算量領域において、代替最小化や複雑な分散低減を用いない最初の加速可能でギャップフリーかつ確率的な k-SVD アルゴリズムを提供し、従来の手法よりも優れた実行時間の上限を達成する。

ABSTRACT

We study $k$-SVD that is to obtain the first $k$ singular vectors of a matrix $A$. Recently, a few breakthroughs have been discovered on $k$-SVD: Musco and Musco [1] proved the first gap-free convergence result using the block Krylov method, Shamir [2] discovered the first variance-reduction stochastic method, and Bhojanapalli et al. [3] provided the fastest $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$-time algorithm using alternating minimization. In this paper, we put forward a new and simple LazySVD framework to improve the above breakthroughs. This framework leads to a faster gap-free method outperforming [1], and the first accelerated and stochastic method outperforming [2]. In the $O(\mathsf{nnz}(A) + \mathsf{poly}(1/\varepsilon))$ running-time regime, LazySVD outperforms [3] in certain parameter regimes without even using alternating minimization.

研究の動機と目的

• O(nd min{d,n}) の時間が必要となる伝統的な SVD 手法が、大規模データ処理において計算的に非効率であるという問題に対処すること。
• 既存の k-SVD アルゴリズムに見られる制限、特にギャップ依存性、加速の欠如、高価なウォームスタートに依存する点を克服すること。
• ギャップフリー、確率的、加速された収束を同時に改善する統一されたフレームワークを構築すること。
• 代替最小化や特有の分散低減を用いずに、O(nnz(A) + poly(1/ε)) の時間計算量領域で最適な実行時間の複雑さを達成すること。
• 単純な反復的 1-SVD 手法が、k-SVD の計算において、複雑で特化したアルゴリズムを上回る性能を発揮できるかどうかという未解決の問題を解消すること。

提案手法

• 残差行列に対する直交射影の後、反復的に 1-SVD を適用することで、上位 k 個の左特異ベクトルを計算する再帰的フレームワークである LazySVD を提案する。
• ランダム化された列選択またはエントリ単位のサンプリングを用いて、A の低ランク近似を構築することで、計算コストを低減しつつ、スペクトルノルムおよびフロベニウスノルムの保証を維持する。
• 加速勾配降下法（AGD）または加速された SVRG を用いて、部分問題を効率的に解くための近似行列逆行列計算を実施する。
• 凸解析と濃度不等式を活用して、フロベニウスノルムおよびスペクトルノルムにおける近似誤差を制限する。
• 最終的な解 Vk が最良のランク-k 近似に対して (1+O(ε)) の近似を満たすことを保証する、新しい δ×-近似 k-SVD 条件を導入する。
• log 因子を隠す eO 表記を用いて実行時間の上限を導出する。主に nnz(A)、k、d、n、σ₁/σₖ₊₁、および 1/ε の主要な項に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 単純で反復的な 1-SVD 手法が、収束速度および実行時間の点で、複雑で最先端の k-SVD アルゴリズムを上回ることができるか？
• RQ2 ブロック・クリロフ法や分散低減技術に依存せずに、ギャップ−0.5 依存性を持つ加速可能でギャップフリーな k-SVD アルゴリズムを設計することは可能か？
• RQ3 高精度のウォームスタートを必要とせず、ギャップフリーかつ加速可能な確率的 k-SVD 手法を設計できるか？
• RQ4 代替最小化を用いずに、O(nnz(A) + poly(1/ε)) 時間領域において、Bhojanapalli ら [7] よりも優れたパフォーマンスを LazySVD が達成できるか？
• RQ5 列選択またはエントリ単位のサンプリングを用いた確率的 SVD において、サンプリングの複雑さと近似誤差の最適なトレードオフは何か？

主な発見

• LazySVD は、フロベニウスノルムにおいて、O(nnz(A)) + eO(k²d(σ₁/σₖ₊₁)⁴/ε²) の実行時間でギャップフリーかつ加速可能で確率的な k-SVD アルゴリズムを実現し、Musco ら [19] のギャップフリー手法を改善する。
• スペクトルノルムにおいて、エントリ単位のサンプリングを用いることで、O(nnz(A)) + eO(k²(n+d)(σ₁/σₖ₊₁)²/ε².⁵) の実行時間で、収束性および ε 依存性の点で Shamir [21] の確率的手法を上回る。
• 本フレームワークは、ギャップフリーの収束を達成する最初の加速可能かつ確率的な k-SVD アルゴリズムを提供し、最高水準のギャップ−0.5 依存性を再現する。
• 代替最小化を用いずに、σ₁/σₖ₊₁ が大きいような特定のパrameter 範囲において、Bhojanapalli ら [7] を上回る性能を LazySVD が達成し、O(nnz(A)) + eO(k⁴d(σ₁/σₖ₊₁)⁵/ε².⁵) の実行時間で動作する。
• サンプリングの仮定の下で、高い確率でフロベニウスノルムおよびスペクトルノルムの両方において、最良のランク-k 近似に対して (1+O(ε)) の近似を保証する。
• 理論的分析により、フレームワークがサンプリングノイズに対してロバストであり、凸解析と濃度不等式を用いて強い誤差境界を維持することが確認された。