[논문 리뷰] Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery

Jicong Fan, Lijun Ding외 2명|arXiv (Cornell University)|2019. 11. 13.

Sparse and Compressive Sensing Techniques인용 수 38

한 줄 요약

논문은 Schatten-p 노름을 비볼록 인자화로 근사하기 위한 Factor Group-Sparse Regularizers (FGSR)를 도입하여 SVD 없는 최적화를 가능하게 하고, LRMC 및 RPCA에서 이론적 보장과 강력한 실험 결과를 얻는다.

ABSTRACT

This paper develops a new class of nonconvex regularizers for low-rank matrix recovery. Many regularizers are motivated as convex relaxations of the matrix rank function. Our new factor group-sparse regularizers are motivated as a relaxation of the number of nonzero columns in a factorization of the matrix. These nonconvex regularizers are sharper than the nuclear norm; indeed, we show they are related to Schatten-$p$ norms with arbitrarily small $0 < p \leq 1$. Moreover, these factor group-sparse regularizers can be written in a factored form that enables efficient and effective nonconvex optimization; notably, the method does not use singular value decomposition. We provide generalization error bounds for low-rank matrix completion which show improved upper bounds for Schatten-$p$ norm reglarization as $p$ decreases. Compared to the max norm and the factored formulation of the nuclear norm, factor group-sparse regularizers are more efficient, accurate, and robust to the initial guess of rank. Experiments show promising performance of factor group-sparse regularization for low-rank matrix completion and robust principal component analysis.

연구 동기 및 목표

• 저랭크 회복을 위한 핵심 노름인 nuclear norm를 넘어 비볼록 랭크 대리점의 사용을 동기 부여한다.
• factor group-sparse regularizers (FGSR)를 도입하여 factorization에서 비제로 열의 수를 완화하는 FGSR를 도입한다.
• FGSR가 임의로 작은 p를 갖는 Schatten-p 노름과 일치할 수 있으며 SVD 없이 효율적 최적화를 가능하게 한다.
• Schatten-p 정규화에 대한 LRMC의 일반화 오차 경계를 제공하고 LRMC 및 RPCA에서 실험적 이점을 보인다.

제안 방법

• X = AB로 인자 분해하고 nnzc(A)와 nnzc(B^T)을 완화하여 A와 B에서 볼록 근사치를 얻는다.
• FGSR_1/2(X)로 (1/2) min_{AB=X} ||A||_{2,1} + ||B^T||_{2,1}, 그리고 FGSR_{2/3}(X)로 (2/3α^{1/3}) min_{AB=X} ||A||_{2,1} + (α/2)||B||_F^2로 정의한다.
• 정리 1에 따라 FGSR_1/2와 FGSR_{2/3}가 각각 Schatten-p 노름의 p=1/2 및 p=2/3에 대응한다, Theorem 1.를 통해서.
• 임의로 촘촘한 랭크 근사를 가능하게 하는 일반 표현(및 확장)을 제시하는 일반 표현(및 확장)을 제시한다, Theorem 2.
• SVD를 계산하지 않고도 인자화된 문제를 풀 수 있는 ADMM(선형화 포함) 및 PALM 같은 최적화 스킴을 제안한다.
• 노이즈 없는 및 노이즈가 있는 LRMC 및 RPCA에 적용 가능성, 수렴 및 랭크 동역학에 대한 논의가 있다.

실험 결과

연구 질문

• RQ1 FGSR가 작은 p(예: p <= 1/2)인 Schatten-p 노름 대리치를 SVD 제거 형식으로 근사할 수 있는가?
• RQ2 FGSR 기반 최적화가 핵 Nuclear norm이나 max-norm 접근법에 비해 더 촘촘한 랭크 대리치, 랭크 초기화에 대한 강건성, 계산 비용 감소를 제공하는가?
• RQ3 FGSR 기반 방법이 LRMC 및 RPCA의 성능을 향상시키며 일반화 오차 경계로 뒷받침될 수 있는가?
• RQ4 합성 및 실제 데이터(MovieLens)에서Missing 비율 및 잡음 수준에 따라 FGSR 기반 알고리즘이 기존 방법과 실무적으로 어떻게 비교되는가?

주요 결과

• FGSRs는 p = 1/2 및 p = 2/3에 대해 Schatten-p 노름과 일치하여 Nuclear norm보다 더 촘촘한 랭크 근사를 제공한다.
• 인자화된 FGSR 구성은 SVD 없이 최적화를 가능하게 하며 비용은 SVD보다 AB 곱에 의해 지배되어 확장성을 향상시킨다.
• Schatten-p 정규화하에 LRMC에 대한 일반화 오차 경계가 도출되어 Nuclear norm 대비 향상된 성능을 설명한다.
• LRMC 및 RPCA에서 FGSR 기반 방법이 경쟁력 있는 혹은 우수한 복구 정확도와 랭크 초기화에 대한 강건성을 보이며, 실제 데이터 실험(MovieLens)에서 효과를 뒷받침한다.