[論文レビュー] Fast First-Order Methods for Stable Principal Component Pursuit

Necdet Serhat Aybat, Donald Goldfarb+1 more|arXiv (Cornell University)|May 11, 2011

Model Reduction and Neural Networks参考文献 23被引用数 26

ひとこと要約

本稿では、Frobeniusノルムの誤差制約下で行列を低ランク成分とスパース成分に分解する、Stable Principal Component Pursuit (SPCP) 問題を解くための新しい一階級最適化法であるNSAを提案する。従来の手法とは異なり、NSAは滑らかでない目的関数に直接作用し、O(1/ε)の反復複雑性と、1回のSVDと同等の反復コストを達成しており、合成データおよび実世界の動画データにおいて、ASALMと比較して高速かつ効率的である。

ABSTRACT

The stable principal component pursuit (SPCP) problem is a non-smooth convex optimization problem, the solution of which has been shown both in theory and in practice to enable one to recover the low rank and sparse components of a matrix whose elements have been corrupted by Gaussian noise. In this paper, we show how several fast first-order methods can be applied to this problem very efficiently. Specifically, we show that the subproblems that arise when applying optimal gradient methods of Nesterov, alternating linearization methods and alternating direction augmented Lagrangian methods to the SPCP problem either have closed-form solutions or have solutions that can be obtained with very modest effort. All but one of the methods analyzed require at least one of the non-smooth terms in the objective function to be smoothed and obtain an eps-optimal solution to the SPCP problem in O(1/eps) iterations. The method that works directly with the fully non-smooth objective function, is proved to be convergent under mild conditions on the sequence of parameters it uses. Our preliminary computational tests show that the latter method, although its complexity is not known, is fastest and substantially outperforms existing methods for the SPCP problem. To best of our knowledge, an algorithm for the SPCP problem that has O(1/eps) iteration complexity and has a per iteration complexity equal to that of a singular value decomposition is given for the first time.

研究の動機と目的

• 密度ノイズによる行列からの低ランクおよびスパース成分の回復を目的とする、Stable Principal Component Pursuit (SPCP) 問題に対する効率的な一階級最適化法の開発。
• 既存手法の計算ボトル neck を解消するため、理想的には1回のSVDと同等の反復コストを有するアルゴリズムの設計。
• ε-最適解を達成するためのO(1/ε)の反復複雑性を達成しつつ、行列分解の高精度を維持すること。
• 滑らかさのステップを回避し、滑らかでない目的関数に直接作用する新しいアルゴリズムNSAの提案。
• 合成データおよび実世界の動画データにおいて、NSAがASALMと比較して収束速度と解の品質の両面で優れていることを実験的に検証すること。

提案手法

• Nesterovの最適勾配法およびproximal gradient法（Tsengのアルゴリズム）をSPCP問題に適応し、部分問題に閉形式解を適用することで、反復コストを低く保証する。
• 部分変数分割を用いた交替方向乗数法（ADMM）を適用し、SPCP問題を再定式化することで、効率的な部分問題の解法を可能にする。
• 滑らかさのステップを一切行わず、完全に滑らかでない目的関数に直接対処する、新規の一階級法であるNSA（Nonmonotone Smoothing Algorithm）を構築する。
• 弱い収束条件を満たすペナルティ乗数の系列を用いることで、NSAが最適解に大域的に収束することを保証する。
• 各反復において、特異値分解（SVD）をコアな計算プリミティブとして用い、反復コストをSVDと同等の水準に保証する。
• NSAにラインサーチ戦略を導入し、パラメータを適応的に更新することで、理論的保証を損なわずに収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 O(1/ε)の反復複雑性とSVDレベルの反復コストを備えた一階級法を、SPCP問題に効率的に適用可能か？
• RQ2 NSAのような滑らかでない一階級法が、滑らかにした代替手法やASALMのような既存のソルバーを上回る収束速度を達成できるか？
• RQ3 実世界の動画データにおいて、NSAはSVDの回数とCPU時間の削減を図りつつ、解の精度を維持できるか？
• RQ4 特に密度的でガウス分布に従うノイズがある状況下でも、提案手法が低ランクおよびスパース成分を信頼性高く回復できるか？
• RQ5 大規模な行列分解タスクにおいて、NSAとASALMとの間の実験的性能差（収束速度、解の精度、計算コスト）は何か？

主な発見

• NSAは、1回のSVDと同等の反復コストを達成しつつ、SPCP問題に対して初めてO(1/ε)の反復複雑性を達成した。これは理論的・実用的の両面で顕著な前進である。
• 数値実験では、1500×1500行列（SNR 45dB）の分解にNSAは19回のSVDと160.8秒のCPU時間を要したが、ASALMは94回のSVDと910.0秒を要した。
• 201フレームの空港動画（SNR 20dB）の分解において、NSAはCPU時間を910.0秒から160.8秒に短縮し、SVD回数も94回から19回に削減した。また、残差誤差は0.00068（NSA）対0.00080（ASALM）と、より低かった。
• 80dB SNR条件下で、NSAは低ランク成分に対して1.8×10⁻⁴、スパース成分に対して1.3×10⁻⁴の相対誤差を達成した。ASALMはそれぞれ3.9×10⁻⁴および5.7×10⁻⁴であった。
• ノイズのある動画における前景検出の視覚的結果から、NSAはASALMと同等の視覚的品質の背景・前景再構成を実現したが、はるかに高速な収束を示した。
• 理論的解析により、NSAは滑らかでない項の平滑化を行わない状況下でも、ペナルティ乗数の系列に弱い収束条件を満たす限り、最適解に収束することが保証された。