[논문 리뷰] Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery

Lijun Ding, Liwei Jiang외 3명|arXiv (Cornell University)|2021. 09. 23.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 진짜 질서가 알려져 있지 않은 경우에도, 과도하게 지정된 질서를 가진 경우에도, 근사적으로 손상된 가우시안 측정값에서 강건한 낮은 질서 행렬 복원을 위한 감소하는 단계 크기를 가진 서브기울기 방법을 제안한다. 제한된 방향 유지 성질(RDPP) 조건 하에서 하위선형 수렴 속도로 정확한 복원을 확립하며, 요인 질서가 진짜 질서와 일치할 때 자동으로 선형 수렴으로 가속화된다. 이는 수치적으로 검증되었고, 과다 매개변수화된 설정에서 과적합을 방지하는 데 기여한다.

ABSTRACT

We study the robust recovery of a low-rank matrix from sparsely and grossly corrupted Gaussian measurements, with no prior knowledge on the intrinsic rank. We consider the robust matrix factorization approach. We employ a robust $\\ell_1$ loss function and deal with the challenge of the unknown rank by using an overspecified factored representation of the matrix variable. We then solve the associated nonconvex nonsmooth problem using a subgradient method with diminishing stepsizes. We show that under a regularity condition on the sensing matrices and corruption, which we call restricted direction preserving property (RDPP), even with rank overspecified, the subgradient method converges to the exact low-rank solution at a sublinear rate. Moreover, our result is more general in the sense that it automatically speeds up to a linear rate once the factor rank matches the unknown rank. On the other hand, we show that the RDPP condition holds under generic settings, such as Gaussian measurements under independent or adversarial sparse corruptions, where the result could be of independent interest. Both the exact recovery and the convergence rate of the proposed subgradient method are numerically verified in the overspecified regime. Moreover, our experiment further shows that our particular design of diminishing stepsize effectively prevents overfitting for robust recovery under overparameterized models, such as robust matrix sensing and learning robust deep image prior. This regularization effect is worth further investigation.

연구 동기 및 목표

• 진짜 질서가 알려져 있지 않을 때 강건한 낮은 질서 행렬 복원 문제를 해결한다.
• 감소하는 단계 크기를 가진 $ε$-서브기울기 방법을 통해 희박하고 극단적인 오염을 다룰 수 있는 비볼록, 비미분 가능 최적화 방법을 개발한다.
• 요인 분해 차원 $k$가 진짜 질서 $r$를 초과하는 질서 과도 지정 조건 하에서 정확한 복원 보장을 수립한다.
• 요인 질서가 진짜 질서와 일치할 때 하위선형 수렴에서 선형 수렴으로 향상되는 이론적 수렴 속도를 제공한다.
• 강건한 행렬 감지 및 딥 이미지 프리두와 같은 과다 매개변수화된 모델에서 감소하는 단계 크기 스케줄이 과적합을 방지하는 정규화 효과를 보여준다.

제안 방법

• 비볼록, 비미분 가능한 목적 함수를 사용하여 강건한 복원 문제를 설정하고, 감소하는 단계 크기를 가진 $ε$-서브기울기 방법을 적용한다.
• 측정값의 희박한 오염을 다루기 위해 강건한 $\ell_1$ 손실 함수를 사용한다.
• 진짜 질서 $r$를 사전에 알 필요 없이, $k > r$인 과도 지정된 분해 $X = FF^T$ ($F \in \mathbb{R}^{d \times k}$)를 사용한다.
• 비볼록, 비미분 가능한 최적화 문제를 해결하기 위해 감소하는 단계 크기를 가진 서브기울기 방법을 적용한다.
• 수렴성과 안정성을 향상시키기 위해 스펙트럼 초기화를 도입한다.
• 가우시안 측정값과 희박한 오염에 대해 일반적으로 성립하는 제한된 방향 유지 성질(RDPP) 조건 하에서 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 비볼록, 비미분 가능한 최적화 방법을 사용할 때, $k > r$인 질서 과도 지정 영역에서 진짜 낮은 질서 행렬의 정확한 복원이 가능할 수 있는가?
• RQ2 감소하는 단계 크기를 가진 서브기울기 방법이 RDPP 조건 하에서 진짜 낮은 질서 행렬로 수렴하는가?
• RQ3 서브기울기 방법의 수렴 속도는 무엇이며, 요인 질서가 진짜 질서와 일치할 때 수렴 속도가 가속화되는가?
• RQ4 감소하는 단계 크기 스케줄이 강건한 행렬 감지 및 딥 이미지 프리두와 같은 과다 매개변수화된 모델에서 과적합을 방지하는 데 어떻게 기여하는가?
• RQ5 RDPP 조건은 어떤 조건에서 성립하며, 실제로 가우시안 측정값과 희박한 오염이 존재하는 설정에서 만족되는가?

주요 결과

• 측정값 수 $m = \tilde{\mathcal{O}}(dk^3)$ 이면, 질서 과도 지정 조건 하에서도 진짜 낮은 질서 행렬 $X_{\natural}$의 정확한 복원이 높은 확률로 달성된다.
• RDPP 조건 하에서 $k > r$ 이면, 서브기울기 방법이 하위선형 수렴 속도 $\mathcal{O}(1/t)$ 로 진짜 해로 수렴한다.
• 요인 질서 $k$가 진짜 질서 $r$와 일치할 때, 개선된 곡률 성질로 인해 수렴 속도가 선형으로 가속화된다.
• 가우시안 측정 행렬과 희박한 오염에 대해 RDPP 조건은 일반적으로 성립하며, 독립적 및 적대적 오염 모델 모두에 적용 가능하다.
• 감소하는 단계 크기 스케줄은 강건한 행렬 감지 및 딥 이미지 프리두와 같은 과다 매개변수화된 모델에서 과적합을 효과적으로 방지하며, 정규화 효과를 보여준다.