[논문 리뷰] Sparse Plus Low Rank Matrix Decomposition: A Discrete Optimization Approach

Dimitris Bertsimas, Ryan Cory-Wright외 1명|arXiv (Cornell University)|2021. 09. 26.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 비정규화된 새로운 비볼록 형식을 통해 정밀하게 희소성과 저질서 구조를 직접 모델링하는 이산 최적화 방법을 제안한다. 이는 $ n = 10,000 $까지 확장 가능한 교대 최소화 히ュ리스틱, 최적 해의 경계를 인증하기 위한 강력한 정수형 프로그래밍 이론, 그리고 소규모 인스턴스($ n = 25 $)를 증명 가능한 근접 최적해로 해결하는 분기결정법 알고리즘을 포함한다. 이로 인해 희소성, 질서 수준, 평균 제곱 오차 측면에서 최신 기술을 능가한다.

ABSTRACT

We study the Sparse Plus Low-Rank decomposition problem (SLR), which is the problem of decomposing a corrupted data matrix into a sparse matrix of perturbations plus a low-rank matrix containing the ground truth. SLR is a fundamental problem in Operations Research and Machine Learning which arises in various applications, including data compression, latent semantic indexing, collaborative filtering, and medical imaging. We introduce a novel formulation for SLR that directly models its underlying discreteness. For this formulation, we develop an alternating minimization heuristic that computes high-quality solutions and a novel semidefinite relaxation that provides meaningful bounds for the solutions returned by our heuristic. We also develop a custom branch-and-bound algorithm that leverages our heuristic and convex relaxations to solve small instances of SLR to certifiable (near) optimality. Given an input $n$-by-$n$ matrix, our heuristic scales to solve instances where $n=10000$ in minutes, our relaxation scales to instances where $n=200$ in hours, and our branch-and-bound algorithm scales to instances where $n=25$ in minutes. Our numerical results demonstrate that our approach outperforms existing state-of-the-art approaches in terms of rank, sparsity, and mean-square error while maintaining a comparable runtime.

연구 동기 및 목표

• 기계 학습 및 운영 연구 분야의 核심 문제인 손상된 데이터 행렬을 희소성 편향과 저질서 성분으로 분해하는 문제를 다루기.
• 기존의 비볼록 및 볼록 방법의 한계를 극복하기 위해 희소성과 저질서 구조의 이산적 성격을 직접 모델링하기.
• 대규모 SLR 문제($ n = 10,000 $)에 대해 분석 시간이 분 단위 이내로 빠르게 고품질 해를 산출할 수 있는 확장 가능한 히ュ리스틱 개발.
• 해의 품질 평가를 위한 계산적으로 실현 가능한 강력한 하한을 제공하는 새로운 정수형 프로그래밍 이론 개발.
• 히유리스틱과 이론을 통합한 분기결정법 프레임워크를 통해 소규모 인스턴스($ n = 25 $)에 대해 증명 가능한 근접 최적해 확보.

제안 방법

• 정확한 희소성($ \norm{\bm{Y}}_0 \triangleq \text{nonzero 요소 수} \triangleq k_1 $)과 질서 제약($ \text{Rank}(\bm{X}) \triangleq k_0 $)을 정규화 없이 직접 강제하는 새로운 형식(1) 제안.
• 알고리즘 1: 저질서 및 희소 성분에 대해 번갈아가며 최적화하는 교대 최소화 히유리스틱으로, 확장성을 위해 SVD와 하드 테이프팅 활용.
• 최적 목표값에 대한 강력한 하한을 제공하는 정수형 프로그래밍 이론(20) 개발. 이는 희소 및 저질서 성분에 대한 역 허버 페널티로 해석 가능.
• 히유리스틱과 이론을 분기결정법 프레임워크(알고리즘 2)에 통합. 각 노드에서 이론을 사용해 하한을 계산하고, 히유리스틱을 통해 현재 최적해(incumbent) 생성.
• 고유의 분기 규칙과 온도 보존 전략을 도입해 분기결정법 트리 내 수렴 속도 향상.
• 문제의 이산적 구조를 활용해 하한을 강화하고 해의 품질을 향상시키되, 확장성은 유지.

실험 결과

연구 질문

• RQ1 SLR 분해를 위한 직접적인 이산 최적화 형식이 기존 비볼록 및 볼록 방법보다 희소성, 저질서 근사 품질, 재구성 오차 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 볼록 정수형 프로그래밍 이론이 비볼록 SLR 문제의 최적 해에 대해 얼마나 강력한 하한을 제공할 수 있으며, 이로 인해 근접한 증명 가능한 최적성 확보가 가능한가?
• RQ3 제안된 교대 최소화 히유리스틱은 실질적으로 어떻게 확장되며, 대규모 인스턴스($ n = 10,000 $)에 대해 고품질 해를 도출할 수 있는가?
• RQ4 히유리스틱과 이론을 기반으로 한 분기결정법 알고리즘은 소규모 SLR 인스턴스($ n = 25 $)를 합리적인 시간 내에 증명 가능한 근접 최적해로 해결할 수 있는가?
• RQ5 정확한 구현 대비 가속화된 구현을 사용할 경우, 해의 품질과 계산 비용 사이의 상충 관계는 어떻게 나타나는가?

주요 결과

• 알고리즘 1(교대 최소화 히유리스틱)은 모든 시험에서 ScaledGD, AccAltProj, fRPCA보다 더 낮은 평균 제곱 오차와 더 낮은 질서 수를 기록한다.
• 히유리스틱은 ScaledGD 및 AccAltProj보다 더 희소한 해를 생성하며, 일관되게 낮은 희소 행렬 재구성 오차를 기록한다.
• $ n = 10,000 $일 경우, 알고리즘 1은 10분 이내에 고품질 해를 산출하여 강력한 확장성 입증.
• 정수형 프로그래밍 이론은 강력한 하한을 제공하며, $ n = 200 $까지 확장 가능하며, 테스트 인스턴스 전반에서 해의 갭이 작게 유지된다.
• 알고리즘 2(분기결정법)는 $ n = 25 $까지의 인스턴스를 증명 가능한 근접 최적해로 해결하며, 최종 해는 히유리스틱의 해보다 약간 뿐만 향상된다.
• 알고리즘 1의 가속화된 구현은 정확한 구현보다 더 빠르게 동작하며, 특히 신호 대 잡음 비율이 높은 환경에서 ScaledGD보다 낮은 재구성 오차 유지.