[論文レビュー] Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery

Jicong Fan, Lijun Ding+2 more|arXiv (Cornell University)|Nov 13, 2019

Sparse and Compressive Sensing Techniques被引用数 38

ひとこと要約

本論文は Factor Group-Sparse Regularizers (FGSR) を導入し、非凸因子分解を通じて Schatten-p ノルムを近似し、SVD を用いない最適化を可能にして効率的な低ランク行列回復を実現する。理論的保証と LRMC および RPCA における強力な実証結果を示す。

ABSTRACT

This paper develops a new class of nonconvex regularizers for low-rank matrix recovery. Many regularizers are motivated as convex relaxations of the matrix rank function. Our new factor group-sparse regularizers are motivated as a relaxation of the number of nonzero columns in a factorization of the matrix. These nonconvex regularizers are sharper than the nuclear norm; indeed, we show they are related to Schatten-$p$ norms with arbitrarily small $0 < p \leq 1$. Moreover, these factor group-sparse regularizers can be written in a factored form that enables efficient and effective nonconvex optimization; notably, the method does not use singular value decomposition. We provide generalization error bounds for low-rank matrix completion which show improved upper bounds for Schatten-$p$ norm reglarization as $p$ decreases. Compared to the max norm and the factored formulation of the nuclear norm, factor group-sparse regularizers are more efficient, accurate, and robust to the initial guess of rank. Experiments show promising performance of factor group-sparse regularization for low-rank matrix completion and robust principal component analysis.

研究の動機と目的

• 核ノルムを超える非凸ランク代替の利用を動機づける。
• 因子分解における非零列の数を緩和する Factor Group-Sparse Regularizers (FGSR) を導入する。
• FGSR が任意に小さな p に対して Schatten-p ノルムと一致し、SVD を用いずに効率的な最適化を可能にすることを示す。
• Schatten-p 正規化を用いた LRMC の一般化誤差境界を提供し、LRMC および RPCA での実証的改善を示す。

提案手法

• X = AB に因子分解し、nnzc(A) および nnzc(B^T) を緩和して A および B に凸代替手段を得ることで FGSR を導く。
• FGSR_1/2(X) を (1/2) min_{AB=X} ||A||_{2,1} + ||B^T||_{2,1} と定義し、FGSR_{2/3}(X) を (2/3α^{1/3}) min_{AB=X} ||A||_{2,1} + (α/2)||B||_F^2 と定義する。
• 定理1により、FGSR_1/2 と FGSR_{2/3} がそれぞれ p = 1/2 および p = 2/3 の Schatten-p ノルムに対応することを示す。
• 定理2を通じて、任意に厳密な階層近似を可能にする一般表現（および拡張）を示す。
• SVD を計算せず因子分解問題を解くために、線形化を用いた ADMM および PALM などの最適化手法を提案する。
• ノイズなしおよびノイズありの LRMC、RPCA への適用性を示し、収束性とランクダイナミクスについて議論する。

実験結果

リサーチクエスチョン

• RQ1 FGSR が Schatten-p ノルム代替を、例えば p <= 1/2 のような小さな p の場合でも因子分解・SVD 不要の形式で近似できるか。
• RQ2 FGSR ベースの最適化は核ノルムや max-norm アプローチと比較して、より厳密なランク代替、ランク初期化の頑健性、計算コストの低減を提供するか。
• RQ3 FGSR ベースの手法は LRMC および RPCA の性能を向上させ、一般化誤差境界によって裏付けられるか。
• RQ4 合成データや実データ（例: MovieLens）において、欠損率やノイズレベルの異なる状況で既存手法と比較して FGSR ベースのアルゴリズムはどのように性能を発揮するか。

主な発見

• FGSR は p = 1/2 および p = 2/3 の Schatten-p ノルムに匹敵し、核ノルムよりも厳密なランク近似を提供する。
• 因子分解による FGSR 形式は SVD 不要の最適化を可能にし、コストは AB の積に支配され、SVD による計算を置換してスケーラビリティを向上させる。
• Schatten-p 正則化下の LRMC の一般化誤差境界を導出し、核ノルムよりも性能が改善される理由を説明する。
• LRMC および RPCA での実証結果は、FGSR ベースの手法が競争力の高いまたは優れた回復精度とランク初期化への頑健性を実現し、実データ実験（MovieLens など）で有効性を裏付ける。