[論文レビュー] A Rank Revealing Randomized Singular Value Decomposition (R3SVD) Algorithm for Low-rank Matrix Approximations

Hao Ji, Wenjian Yu+1 more|arXiv (Cornell University)|May 26, 2016

Sparse and Compressive Sensing Techniques参考文献 6被引用数 16

ひとこと要約

この論文では、直交ガウス分布サンプリングを用いて最適なランクを段階的に推定することで、低ランク行列近似を段階的に構築するランダム化SVDアルゴリズムR3SVDを紹介する。定数のメモリ使用量で高い精度を達成し、画像圧縮および行列補完タスクにおいて優れた性能を示す。

ABSTRACT

In this paper, we present a Rank Revealing Randomized Singular Value Decomposition (R3SVD) algorithm to incrementally construct a low-rank approximation of a potentially large matrix while adaptively estimating the appropriate rank that can capture most of the actions of the matrix. Starting from a low-rank approximation with an initial guessed rank, R3SVD adopts an orthogonal Gaussian sampling approach to obtain the dominant subspace within the leftover space, which is used to add up to the existing low-rank approximation. Orthogonal Gaussian sampling is repeated until an appropriate low-rank approximation with satisfactory accuracy, measured by the overall energy percentage of the original matrix, is obtained. While being a fast algorithm, R3SVD is also a memory-aware algorithm where the computational process can be decomposed into a series of sampling tasks that use constant amount of memory. Numerical examples in image compression and matrix completion are used to demonstrate the effectiveness of R3SVD in low-rank approximation.

研究の動機と目的

• ランクの事前知識がなくとも、適応的に適切なランクを特定できる高速でメモリ効率の良い低ランク行列近似アルゴリズムの開発。
• 行列ランクの事前知識がなくとも、最適な低ランク近似を選択する課題の解決。
• 計算およびメモリのオーバーヘッドを最小限に抑えながら、高精度な低ランク近似を維持すること。
• メモリに配慮した方法で、直交ガウス分布サンプリングを用いて低ランク近似を段階的に構築すること。
• 画像圧縮や行列補完などの実用的応用における有効性の実証。

提案手法

• R3SVDは、初期の推定ランクを用いて低ランク近似を開始する。
• 残差行列（残りの行列）内の主要部分空間を特定するために直交ガウス分布サンプリングを適用する。
• 新たに特定された部分空間を既存の近似に加算し、段階的に精度を向上させる。
• 元の行列のエネルギーの十分な割合を捉えるまで、このプロセスを反復的に繰り返す。
• 直交ガウス分布サンプリングにより、数値的安定性が保たれ、定数のメモリ使用量で効率的な部分空間検出が可能になる。
• 近似が所定のしきい値に達するまでエネルギーの割合を満たした時点で、アルゴリズムは適応的に終了する。

実験結果

リサーチクエスチョン

• RQ1 行列ランクの事前知識がなくとも、どのようにして適応的に低ランク行列近似を構築できるか？
• RQ2 どのようなサンプリング戦略が、段階的な低ランク近似において高精度と定数のメモリ使用量を両立できるか？
• RQ3 反復的精錬の過程で、直交ガウス分布サンプリングは残差行列内の主要部分空間を効果的に特定できるか？
• RQ4 実用的応用において、既存のランダム化SVD手法と比較してR3SVDは精度と効率の面でどのように差をつけるか？
• RQ5 大規模な行列問題において、R3SVDは最小限のメモリフットプリントでどれほど高いエネルギー捕捉率を達成できるか？

主な発見

• R3SVDは、エネルギー捕捉に基づいて最適なランクを適応的に推定することで、高精度な低ランク近似を達成する。
• アルゴリズムは計算全体を通して定数のメモリ使用量を維持するため、大規模な行列に適している。
• 画像圧縮における数値実験では、ベースライン手法と比較してR3SVDはより少ない成分で画像の質を保持している。
• 行列補完タスクでは、R3SVDは収束が早く、誤差率が低いという競争力ある性能を示している。
• 直交ガウス分布サンプリングの使用により、残差空間における安定的かつ効率的な部分空間検出が可能になった。
• ユーザーが定義した割合の元の行列のエネルギーを近似が捉えた時点でアルゴリズムは終了し、所望の精度が保証される。