[論文レビュー] Near Optimal Compressed Sensing of a Class of Sparse Low-Rank Matrices via Sparse Power Factorization

Kiryung Lee, Yihong Wu+1 more|arXiv (Cornell University)|Dec 2, 2013

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、圧縮線形測定からのスパース低ランク行列の近似的最適な回復を目的として、スパース・パワー要因分解（SPF）およびその拡張である部分空間連結型SPF（SCSPF）を提案する。ランク1行列および一般の低ランク行列のスパース要因に対する交互最小化を活用することで、情報理論的限界の対数的要因の範囲内で測定回数を抑えた安定な再構成を達成し、理論的および実践的両面で凸緩和法を上回る性能を発揮する。

ABSTRACT

Compressed sensing of simultaneously sparse and low-rank matrices enables recovery of sparse signals from a few linear measurements of their bilinear form. One important question is how many measurements are needed for a stable reconstruction in the presence of measurement noise. Unlike conventional compressed sensing for sparse vectors, where convex relaxation via the $\\ell_1$-norm achieves near optimal performance, for compressed sensing of sparse low-rank matrices, it has been shown recently Oymak et al. that convex programmings using the nuclear norm and the mixed norm are highly suboptimal even in the noise-free scenario. We propose an alternating minimization algorithm called sparse power factorization (SPF) for compressed sensing of sparse rank-one matrices. For a class of signals whose sparse representation coefficients are fast-decaying, SPF achieves stable recovery of the rank-1 matrix formed by their outer product and requires number of measurements within a logarithmic factor of the information-theoretic fundamental limit. For the recovery of general sparse low-rank matrices, we propose subspace-concatenated SPF (SCSPF), which has analogous near optimal performance guarantees to SPF in the rank-1 case. Numerical results show that SPF and SCSPF empirically outperform convex programmings using the best known combinations of mixed norm and nuclear norm.

研究の動機と目的

• 圧縮線形測定から、同時にスパースかつ低ランクである行列の安定的で効率的な回復の課題に対処すること。
• スパース低ランク行列回復において、ノイズが存在する状況での凸緩和法（例：核ノルムおよび混合ノルム）の非最適性を克服すること。
• 安定な再構成に必要な測定回数の情報理論的限界に近い計算効率の高いアルゴリズムの開発。
• スパース要因に対応する部分空間を連結することで、ランク1行列に対する理論的性能保証を一般の低ランク行列へ拡張すること。

提案手法

• 圧縮測定からランク1行列のスパース左因子および右因子を反復的に推定する、交互最小化アルゴリズムとしてのスパース・パワー要因分解（SPF）を導入する。
• 核ノルム最小化などの凸プログラムに内在する緩和ギャップを回避する非凸最適化フレームワークを採用する。
• 左因子または右因子が行スパースであるランク1行列の要因分解モデルを用い、効率的なスパース表現回復を可能にする。
• スパース要因に対応する部分空間を連結し、SPFに類似した更新を適用することで、一般の低ランク行列に対するSCSPFを提案する。
• 測定演算子に対して制限等長性（RIP）条件に依存し、両因子における結合的スパース性を特徴とする二重にスパースなRIPを特に設定する。
• 非エルミート型sinθ定理を適用し、部分空間間の主角度を評価することで、要因分解プロセスの誤差解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸アルゴリズムは、スパース低ランク行列の回復において、近似的最適な測定複雑度を達成できるか？
• RQ2 ノイズが存在する状況下で、SPFの性能は核ノルムおよび混合ノルム最小化といった凸緩和法と比べてどのように異なるか？
• RQ3 スパース低ランク行列の安定的回復に必要な最小測定回数は何か？ そして、実用的なアルゴリズムがその値に近づけるか？
• RQ4 ランク1行列に対するSPFの性能保証を、一般の低ランク行列へ拡張できるか？
• RQ5 特異ベクトルのスパース構造が、最小測定回数での安定的回復を可能にする役割を果たすか？

主な発見

• SPFは、情報理論的下界の対数的要因の範囲内で、ランク1のスパース低ランク行列の安定的再構成を達成する。
• 一般のスパース低ランク行列に関しては、SCSPFがランク1の場合のSPFと同様の近似的最適な性能保証を達成する。
• 数値実験の結果、SPFおよびSCSPFは、核ノルムと混合ノルムの最良組み合わせを用いた凸プログラムを実証的に上回る性能を示す。
• 理論的解析により、正規化された再構成誤差が測定のノイズ対信号比の定数倍で抑えられ、望ましい安定性基準を満たすことが示された。
• ノイズ下でもアルゴリズムの性能は頑健であり、非エルミート型sinθ定理および測定演算子のRIPに基づく解析により誤差バウンドが導出された。
• 二重逆問題におけるスケーリングの不確かさを、追加の正規化を要せず、低ランク解を直接要因分解することで効果的に処理した。