[論文レビュー] Matrix ALPS: Accelerated Low Rank and Sparse Matrix Reconstruction

Anastasios Kyrillidis, Volkan Cevher|arXiv (Cornell University)|Mar 17, 2012

Sparse and Compressive Sensing Techniques参考文献 16被引用数 6

ひとこと要約

Matrix ALPS は、不完全で汚染された線形測定値から低ランクおよびスパース行列成分を回復するための、記憶に基づく加速を施した1次順投影勾配法である。安定埋め込み条件の下で、最新の凸および非凸手法よりも高速な収束を達成し、測定演算子が低ランクおよびスパース成分の両方に対して制限等長性を満たす場合、グローバル収束の理論的保証が得られる。

ABSTRACT

We propose Matrix ALPS for recovering a sparse plus low-rank decomposition of a matrix given its corrupted and incomplete linear measurements. Our approach is a first-order projected gradient method over non-convex sets, and it exploits a well-known memory-based acceleration technique. We theoretically characterize the convergence properties of Matrix ALPS using the stable embedding properties of the linear measurement operator. We then numerically illustrate that our algorithm outperforms the existing convex as well as non-convex state-of-the-art algorithms in computational efficiency without sacrificing stability.

研究の動機と目的

• 不完全で汚染された線形測定値から行列を低ランクおよびスパース成分に分解するための効率的なアルゴリズムを開発すること。
• 低ランクおよびスパース行列回復における既存の凸および非凸アプローチよりも計算効率を向上させること。
• 測定演算子の安定埋め込みおよび制限等長性を用いた理論的収束保証を提供すること。
• 1次順法を非凸的構造付き行列回復問題にまで拡張すること。

提案手法

• Matrix ALPS は、低ランクおよびスパース行列制約に対応する非凸集合上での1次順投影勾配法を用いる。
• Nesterov のモーメンタムに類似した記憶ベースの加速を統合し、収束速度を向上させる。
• 反復更新の過程で、ランク制約集合およびスパarsity制約集合の両方に交互に投影する。
• 誤差伝播から導かれる結合線形系を用いて収束を分析し、ヘッセに類似した作用素を含む行列再帰を導出する。
• 低ランクおよびスパース成分の両方に対して制限等長性（RIP）を用いて理論的安定性を確立し、δ4k および δ4s の境界を提示する。
• 誤差項の進化をモデル化するための2次元1次系を構築し、固有値に基づく収束解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 記憶ベースの加速を施した1次順法は、既存の凸および非凸ソルバーと比較して、低ランクおよびスパース行列回復においてより高速な収束を達成できるか？
• RQ2 測定演算子がどのような条件下で真の分解へのグローバル収束を保証するか？
• RQ3 低ランクおよびスパース成分の制限等長定数が、安定性および収束速度にどのように共同で影響を与えるか？
• RQ4 記憶ベースの加速技術は、非凸的構造付き行列回復問題に効果的に適応可能か？

主な発見

• 数値実験において、Matrix ALPS は最新の凸および非凸アルゴリズムを上回る収束速度を達成し、安定性を損なわない。
• 測定演算子が低ランク-RIP およびスパース-RIP を満たし、それぞれ δ4k ≤ 0.09 および δ4s ≤ 0.095 である場合、理論的収束が保証される。
• 共同して、測定演算子は低ランクおよびスパース-RIP を満たし、δ3k+3s ≤ 0.095 である必要がある。
• 系の遷移行列の固有値は実数であり、単位円内に厳密に存在するため、誤差ダイナミクスのグローバル漸近的安定性が保証される。
• 反復回数が無限大に近づくにつれて、アルゴリズムは真の低ランクおよびスパース成分に収束し、両方の誤差項がゼロに近づく。