[論文レビュー] A Fast Implementation of Singular Value Thresholding Algorithm using Recycling Rank Revealing Randomized Singular Value Decomposition

Yaohang Li, Wenjian Yu|arXiv (Cornell University)|Apr 14, 2017

Face and Expression Recognition参考文献 20被引用数 11

ひとこと要約

本稿では、再利用可能なランク・レヴェリング確率的特異値分解（R⁴SVD）を用いた高速化された特異値しきい値処理（SVT）アルゴリズムを提案する。この手法は、前回の反復で得られた左特異ベクトルを再利用することで、部分的特異値分解（SVD）の計算コストを著しく削減する。シミュレート・アニーリングの冷却機構を用いて、反復の進行に応じて低ランク近似の精度を動的に調整することで、画像回復や映画推薦の応用において、精度を損なわずに顕著な高速化を達成する。

ABSTRACT

In this paper, we present a fast implementation of the Singular Value Thresholding (SVT) algorithm for matrix completion. A rank-revealing randomized singular value decomposition (R3SVD) algorithm is used to adaptively carry out partial singular value decomposition (SVD) to fast approximate the SVT operator given a desired, fixed precision. We extend the R3SVD algorithm to a recycling rank revealing randomized singular value decomposition (R4SVD) algorithm by reusing the left singular vectors obtained from the previous iteration as the approximate basis in the current iteration, where the computational cost for partial SVD at each SVT iteration is significantly reduced. A simulated annealing style cooling mechanism is employed to adaptively adjust the low-rank approximation precision threshold as SVT progresses. Our fast SVT implementation is effective in both large and small matrices, which is demonstrated in matrix completion applications including image recovery and movie recommendation system.

研究の動機と目的

• 行列補完に用いられる特異値しきい値処理（SVT）アルゴリズムにおけるフルSVDの高コスト問題を解決すること。
• SVTにおける各反復における部分的SVDの計算コストを、前回の反復で得られた特異ベクトルを初期基底として再利用することで低減すること。
• SVTの反復過程において、低ランク近似のしきい値を動的に調整する適応的精度制御機構を開発すること。
• 最終的な行列ランクに関する事前知識が不要な状況でも、小規模および大規模な行列に対して効率的かつスケーラブルな行列補完を可能にすること。
• 従来のSVT変種と比較して、画像回復や協調フィルタリング（例：映画推薦）といった実世界の応用において、性能を向上させること。

提案手法

• SVT演算子の近似として、高速で固定精度の部分的SVD手法としてR³SVD（ランク・レヴェリング確率的特異値分解）を導入する。
• R³SVDを拡張し、前回のSVT反復で得られた左特異ベクトルを、現在の反復におけるSVD計算の初期基底として再利用するR⁴SVDを構築する。
• シミュレート・アニーリング風の冷却機構を用いて、SVTの進行に伴い低ランク近似に必要な精度を段階的に低下させる。
• R⁴SVDを用いて、$ D_\tau(\mathbf{Y}^{(i)}) = \sum_{\sigma_j^{(i)} \geq \tau} (\sigma_j^{(i)} - \tau) \mathbf{u}_j^{(i)} (\mathbf{v}_j^{(i)})^T $ として定義されるSVT演算子を、フルSVDに代えて効率的に計算する。
• Uzawa法または線形化Bregman反復を用いて反復的に適用し、既知の要素への射影を $ P_\Lambda $ を通じて行う。
• フルSVDを回避し、代わりにしきい値 $ \tau $ を超える顕著な特異値にのみ注目することで、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 前回のSVT反復で得られた特異ベクトルを再利用することで、各反復における部分的SVDの計算コストを著しく削減できるか？
• RQ2 冷却機構を用いた適応的精度制御機構は、固定ランクまたは固定精度アプローチに比べ、速度と精度の両面で優れているか？
• RQ3 大規模な行列補完タスクにおいて、提案手法のR⁴SVDベースSVTは、フルSVD、ランチョス法ベースSVT、および固定ランク確率的SVD（FRSVD）と比較してどのように性能を発揮するか？
• RQ4 特に大規模応用において、真の行列ランクの事前知識がなくても、高い行列補完精度を達成できるか？
• RQ5 画像回復や推薦システムなどのシナリオにおいて、適応的精度制御機構が測定可能な性能向上をもたらすか？

主な発見

• 8,192 × 8,192 の画像において、SVT-R⁴SVDはSVT-Lanczosに比べ94.2%、FRSVDに比べ60.9%のCPU時間短縮を達成した。
• MovieLensデータセットにおいて、SVT-R⁴SVDは7,867秒で最適なテストMAEに到達したが、FRSVD（49,432秒）およびSVT-Lanczos（62,425秒）に比べて時間的優位性を示した。
• テストMAEは0.7228を記録し、FRSVD（0.7214）およびSVT-Lanczos（0.7212）に比べわずかに高いが、顕著な高速化にもかかわらず精度の損失は最小限に抑えられた。
• 20%の画素サンプリング条件下でも、情報量の多い大規模画像の方が、ランク比が3.0未満であっても、小さな画像よりも顕著に低い誤差で回復された。
• 適応的精度制御機構により、行列ランクの正確な事前推定が不要となり、FRSVDのような固定ランク手法で一般的に見られる過剰推定や不足推定の問題を回避できた。
• R⁴SVDは小規模および大規模な行列において、顕著な計算コストの削減を達成し、多様な行列補完応用にわたる頑健性とスケーラビリティを示した。