[論文レビュー] A Nonconvex Free Lunch for Low-Rank plus Sparse Matrix Recovery

Xiao Zhang, Lingxiao Wang+1 more|arXiv (Cornell University)|Feb 21, 2017

Sparse and Compressive Sensing Techniques参考文献 46被引用数 3

ひとこと要約

本稿では、行列分解と二重しきい値処理演算子を用いた非凸最適化フレームワークを提案し、低ランク＋スパース行列回復のための投影勾配降下法を用いる。本手法は局所的線形収束を達成し、重ね合わせ構造モデルにおける高速収束を可能にする、新たな構造的リプシッツ勾配条件のもとで、スパース性に対する最高水準のロバストネスを達成する。

ABSTRACT

We propose a unified framework to solve general low-rank plus sparse matrix recovery problems based on matrix factorization, which covers a broad family of objective functions satisfying the restricted strong convexity and smoothness conditions. Based on projected gradient descent and the double thresholding operator, our proposed generic algorithm is guaranteed to converge to the unknown low-rank and sparse matrices at a locally linear rate, while matching the best-known robustness guarantee (i.e., tolerance for sparsity). At the core of our theory is a novel structural Lipschitz gradient condition for low-rank plus sparse matrices, which is essential for proving the linear convergence rate of our algorithm, and we believe is of independent interest to prove fast rates for general superposition-structured models. We illustrate the application of our framework through two concrete examples: robust matrix sensing and robust PCA. Experiments on both synthetic and real datasets corroborate our theory.

研究の動機と目的

• ノイズがかったまたは不完全な観測から低ランクおよびスパース行列成分を統合的かつ非凸最適化フレームワークで回復する課題に対処すること。
• 一般の低ランク＋スパース行列回復問題に対して、局所的線形レートでの収束保証を確立すること。
• 既存手法の理論的耐性限界に一致する、最高水準のスパース性に対するロバストネスを達成すること。
• 重ね合わせ構造モデルに特化した、新たな構造的リプシッツ勾配条件を導入すること。
• 理論的保証のもとで、実データおよび合成データに対して、ロバスト行列センシングおよびロバストPCAの応用を通じてフレームワークの有効性を示すこと。

提案手法

• 低ランク成分のパrameter化に行列分解を用い、低次元多様体上の非凸最適化を可能にする。
• 目的関数の最適化に投影勾配降下法を用い、反復点が低ランク多様体内に留まるように射影を行う。
• 解の低ランクおよびスパース構造を同時に促進するために、二重しきい値処理演算子を導入する。
• 収束解析は、低ランク＋スパース行列の幾何構造を捉える、新たな構造的リプシッツ勾配条件に依拠する。
• 制限された強い凸性および滑らかさを満たす、広範なクラスの目的関数に適用可能である。
• 測定演算子およびノイズモデルに関する標準的仮定のもとで、理論的保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化フレームワークは、低ランク＋スパース行列回復に対して局所的線形収束を達成できるか？
• RQ2 重ね合わせ構造モデルにおける高速収束レートを実現するための、目的関数の構造的条件は何か？
• RQ3 本手法は、既存の凸または非凸アプローチと比較して、スパース性に対するロバストネスで優れているか？
• RQ4 ロバスト行列センシングおよびロバストPCAといった具体的な問題に、理論的保証のもとでフレームワークを適用できるか？
• RQ5 新たな構造的リプシッツ勾配条件は、高速収束を可能にする役割を果たすか？

主な発見

• 標準的仮定のもとで、提案アルゴリズムは真の低ランクおよびスパース成分を局所的線形レートで収束する。
• 本手法は、スパース性に対する最高水準のロバストネスを達成し、先行研究の理論的耐性限界に一致する。
• 新たな構造的リプシッツ勾配条件は、線形収束率の証明に不可欠であり、一般の重ね合わせ構造モデルに対しても独立した価値を持つ。
• 合成および実データにおける実験結果が、理論的収束性およびロバストネスの主張を確認する。
• フレームワークはロバスト行列センシングおよびロバストPCAにうまく一般化され、実用的有用性を示す。
• 二重しきい値処理演算子は、スパース性レベルの事前知識がなくても、低ランクおよびスパース回復のバランスを効果的にとる。