[論文レビュー] A Block Lanczos with Warm Start Technique for Accelerating Nuclear Norm Minimization Algorithms

Zhouchen Lin, Siming Wei|arXiv (Cornell University)|Dec 2, 2010

Sparse and Compressive Sensing Techniques参考文献 26被引用数 14

ひとこと要約

本稿では、核ノルム最小化（NNM）アルゴリズムの計算コストを低減するために、前回の反復で得られた主成分の特異値部分空間を再利用して、部分特異値分解（SVD）の計算にブロックランコス法を初期化する『ウォームスタート付きブロックランコス（BLWS）』手法を提案する。Lanczosステップ数を制限し、ウォームスタートを活用することで、SVD計算コストを削減し、ロバストPCAおよび行列補完タスクにおいて標準的手法と比較して2〜3倍の高速化を達成したが、精度に影響を与えない。

ABSTRACT

Recent years have witnessed the popularity of using rank minimization as a regularizer for various signal processing and machine learning problems. As rank minimization problems are often converted to nuclear norm minimization (NNM) problems, they have to be solved iteratively and each iteration requires computing a singular value decomposition (SVD). Therefore, their solution suffers from the high computation cost of multiple SVDs. To relieve this issue, we propose using the block Lanczos method to compute the partial SVDs, where the principal singular subspaces obtained in the previous iteration are used to start the block Lanczos procedure. To avoid the expensive reorthogonalization in the Lanczos procedure, the block Lanczos procedure is performed for only a few steps. Our block Lanczos with warm start (BLWS) technique can be adopted by different algorithms that solve NNM problems. We present numerical results on applying BLWS to Robust PCA and Matrix Completion problems. Experimental results show that our BLWS technique usually accelerates its host algorithm by at least two to three times.

研究の動機と目的

• 核ノルム最小化（NNM）アルゴリズムにおける繰り返し特異値分解（SVD）の高い計算コストを低減すること。
• ロバストPCAや行列補完のようなNNMベースのアルゴリズムを、部分SVD計算の効率を向上させることで高速化すること。
• 連続する反復間の時間的相関を活用し、直前のステップで得た特異値部分空間を初期推定値として再利用すること。
• コア論理を変更せずに、さまざまなNNMソルバに適用可能な汎用的な高速化技術を開発すること。

提案手法

• 部分SVDを計算するために、しきい値以上の特異値に焦点を当てたブロックランコス法を適用する。
• 直前の反復で得られた主成分の特異値部分空間を、現在のブロックランコス手順のウォームスタートとして使用する。
• 再正規化のコストを避けるために、Lanczosステップ数を制限しつつ、精度を維持する。
• ロバストPCA用のADMや行列補完用のSVTといった既存のNNMソルバにBLWSを統合する。
• 部分SVDの後、特異値のソフトス hrinkage を用いて各反復で解を計算する。
• 実行時間の短縮を図りながら、ベースライン手法と同等の収束特性と解の精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 直前の反復で得た特異値部分空間を再利用することで、NNMアルゴリズムにおける部分SVD計算コストを顕著に削減できるか？
• RQ2 ウォームスタート付きブロックランコス法は、ロバストPCAおよび行列補完の高速化にどの程度有効か？
• RQ3 BLWS技術は、顕著な高速化を達成しつつ、解の精度を維持できるか？
• RQ4 Lanczosステップ数を制限した場合、収束性および数値的安定性にどのような影響を与えるか？

主な発見

• BLWS-ADMは、ロバストPCAにおいて標準ADMと比較して2.0倍から3.0倍の高速化を達成し、m=3000の場合に実行時間を477.13秒から149.19秒に短縮した。
• BLWS-SVTは、行列補完の実行時間を2.5倍から3.0倍に短縮し、例えばm=10000、ランク100の条件では1783.26秒から1175.91秒にまで短縮した。
• 反復回数はほとんど変化しなかったため、BLWSが収束特性に悪影響を及げていないことが示された。
• 低ランク行列回復における相対誤差は1.75e-4以内に保たれ、解の精度に損失は見られなかった。
• 異なる行列サイズや問題設定（ランクやサンプリングレートの変動を含む）においても、一貫した高速化効果を示した。