[論文レビュー] Sparse Plus Low Rank Matrix Decomposition: A Discrete Optimization Approach

Dimitris Bertsimas, Ryan Cory-Wright+1 more|arXiv (Cornell University)|Sep 26, 2021

Sparse and Compressive Sensing Techniques参考文献 32被引用数 4

ひとこと要約

本稿は、スパース＋低ランク（SLR）行列分解のための離散最適化アプローチを提案する。非凸な新しい定式化により、直接的にスパarsityと低ランク構造をモデル化する。$ n = 10,000 $ までスケーリング可能な交替最小化ヒューリスティクス、最適解の境界認証に強力な半正定値緩和、および小規模なインスタンス（$ n = 25 $）を証明可能な近最適性まで解く分枝限定法を導入。スパarsity、ランク、平均二乗誤差の観点で、最先端手法を上回る性能を発揮する。

ABSTRACT

We study the Sparse Plus Low-Rank decomposition problem (SLR), which is the problem of decomposing a corrupted data matrix into a sparse matrix of perturbations plus a low-rank matrix containing the ground truth. SLR is a fundamental problem in Operations Research and Machine Learning which arises in various applications, including data compression, latent semantic indexing, collaborative filtering, and medical imaging. We introduce a novel formulation for SLR that directly models its underlying discreteness. For this formulation, we develop an alternating minimization heuristic that computes high-quality solutions and a novel semidefinite relaxation that provides meaningful bounds for the solutions returned by our heuristic. We also develop a custom branch-and-bound algorithm that leverages our heuristic and convex relaxations to solve small instances of SLR to certifiable (near) optimality. Given an input $n$-by-$n$ matrix, our heuristic scales to solve instances where $n=10000$ in minutes, our relaxation scales to instances where $n=200$ in hours, and our branch-and-bound algorithm scales to instances where $n=25$ in minutes. Our numerical results demonstrate that our approach outperforms existing state-of-the-art approaches in terms of rank, sparsity, and mean-square error while maintaining a comparable runtime.

研究の動機と目的

• 腐損したデータ行列をスパースな摂動と低ランク成分に分解する課題に取り組むこと。これは機械学習およびオペレーションズリサーチ分野の根幹的問題である。
• 既存の非凸および凸手法の限界を克服し、スパarsityと低ランク構造の離散的性質を直接モデル化すること。
• 大規模なSLR問題（$ n = 10,000 $）に対して、数分で高品質な解を計算できるスケーラブルなヒューリスティクスを開発すること。
• 解の品質評価のための計算的に実行可能な強い半正定値緩和を用いて、タイトな境界を提供すること。
• ヒューリスティクスと緩和を統合した分枝限定フレームワークを用いて、小規模なインスタンス（$ n = 25 $）に対して証明可能な近最適性を達成すること。

提案手法

• 正規化ではなく、直接的にスパarsity（$ \norm{\bm{Y}}_0 \triangleq \text{非ゼロ要素数} \triangleq k_1 $）とランク制約（$ \text{Rank}(\bm{X}) \triangleq k_0 $）を満たす新しい定式化（1）を提案する。
• アルゴリズム1：低ランクおよびスパース成分の反復的最適化を実行する交替最小化ヒューリスティクス。スケーラビリティを高めるためにSVDとハードスレッショーディングを活用する。
• 最適目的値の下界を強力に提供する半正定値緩和（20）を開発。これはスパースおよび低ランク成分に逆Huberペナルティとして解釈できる。
• ヒューリスティクスと緩和を分枝限定フレームワーク（アルゴリズム2）に統合。各ノードで緩和を用いて境界を計算し、ヒューリスティクスでインシデント解を生成する。
• カスタム分枝ルールとウォームスタート戦略を用いて、分枝限定木における収束を加速する。
• 問題の離散的構造を活用して境界を厳しくし、スケーラビリティを損なわずに解の品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SLR分解のための直接的な離散最適化定式化は、スパarsity、低ランク近似品質、再構成誤差の観点で、既存の非凸および凸手法を上回ることができるか？
• RQ2 凸な半正定値緩和は、非凸SLR問題の最適解に対してどの程度タイトな境界を提供できるか。これにより、近似的に証明可能な最適性が達成可能か？
• RQ3 提案された交替最小化ヒューリスティクスは実際のスケーリングにおいてどの程度の性能を示すか。大規模インスタンス（$ n = 10,000 $）において高品質な解を達成できるか？
• RQ4 ヒューリスティクスと緩和に基づく分枝限定法は、小規模なSLRインスタンス（$ n = 25 $）を合理的な時間内に証明可能な近最適性まで解くことができるか？
• RQ5 ヒューリスティクスの正確な実装と加速版を用いる際の、解の品質と計算コストのトレードオフはいかなるものか？

主な発見

• アルゴリズム1（交替最小化ヒューリスティクス）は、すべての試行においてScaledGD、AccAltProj、fRPCAよりも低い平均二乗誤差と低いランクを達成する。
• ヒューリスティクスはScaledGDおよびAccAltProjよりもスパースな解を生成し、一貫して低いスパース行列再構成誤差を示す。
• $ n = 10,000 $ の場合、アルゴリズム1は10分未満で高品質な解を計算し、優れたスケーラビリティを示す。
• 半正定値緩和はタイトな境界を提供し、$ n = 200 $ までスケーリング可能であり、テストインスタンス全体で解のギャップが小さく保たれる。
• アルゴリズム2（分枝限定法）は$ n = 25 $までのインスタンスを証明可能な近最適性まで解き、最終解はヒューリスティクスの解よりも僅かに優れているにとどまる。
• アルゴリズム1の加速版は正確なバージョンよりも高速であり、特に信号対雑音比が高い状況ではScaledGDよりも低い再構成誤差を維持する。