[논문 리뷰] Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization

Jianhao Ma, Salar Fattahi|arXiv (Cornell University)|2022. 02. 17.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 노이즈가 있는 측정치와 오염된 측정치, 그리고 과도하게 파arameter화된 모델 하에서, 복원 가능한 낮은 질서 행렬 복원에 대해 하향 기울기 방법(SubGM)의 전역 수렴성을 확립한다. 연구는 초기화 값이 작을 경우 과도한 파arameter화와 노이즈의 악영향을 제거함으로써, SubGM이 임의로 큰 밀도 높은 노이즈가 존재하는 상황에서도 진짜 낮은 질서 해에 지수적으로 수렴할 수 있음을 증명한다. 이는 새로운 Sign-제한 이sovmetry 성질(Sign-RIP)을 통해 달성된다.

ABSTRACT

In this work, we study the performance of sub-gradient method (SubGM) on a natural nonconvex and nonsmooth formulation of low-rank matrix recovery with $\ell_1$-loss, where the goal is to recover a low-rank matrix from a limited number of measurements, a subset of which may be grossly corrupted with noise. We study a scenario where the rank of the true solution is unknown and over-estimated instead. The over-estimation of the rank gives rise to an over-parameterized model in which there are more degrees of freedom than needed. Such over-parameterization may lead to overfitting, or adversely affect the performance of the algorithm. We prove that a simple SubGM with small initialization is agnostic to both over-parameterization and noise in the measurements. In particular, we show that small initialization nullifies the effect of over-parameterization on the performance of SubGM, leading to an exponential improvement in its convergence rate. Moreover, we provide the first unifying framework for analyzing the behavior of SubGM under both outlier and Gaussian noise models, showing that SubGM converges to the true solution, even under arbitrarily large and arbitrarily dense noise values, and--perhaps surprisingly--even if the globally optimal solutions do not correspond to the ground truth. At the core of our results is a robust variant of restricted isometry property, called Sign-RIP, which controls the deviation of the sub-differential of the $\ell_1$-loss from that of an ideal, expected loss. As a byproduct of our results, we consider a subclass of robust low-rank matrix recovery with Gaussian measurements, and show that the number of required samples to guarantee the global convergence of SubGM is independent of the over-parameterized rank.

연구 동기 및 목표

• 비볼록, 비미분 가능한 낮은 질서 행렬 복원 문제에 대해 ℓ₁-손실을 사용하는 하향 기울기 방법(SubGM)의 전역 수렴성을 분석하는 것.
• 검색 질서 r′ 이 진짜 질서 r 보다 큰 과도하게 파arameter화된 상황에서의 수렴 성능 악화와 과적합 문제를 다루는 것.
• 노이즈가 많고 심지어 완전히 오염된 측정치가 존재할 경우 SubGM 성능에 미치는 영향을 분석하는 것, 특히 임의의 노이즈 수준에서도 성립하는지 검토.
• 이상치 노이즈 모델과 가우시안 노이즈 모델을 모두 다루는 SubGM 분석을 통합하여 극단적인 노이즈에 대한 강건성을 입증하는 것.
• 작은 초기화가 SubGM이 과도하게 파arameter화된 상황과 노이즈에 민감하지 않게 만들며, 거의 최적의 수렴 속도를 달성할 수 있음을 보여주는 것.

제안 방법

• SubGM 해 궤적의 신호-잔차 분해 기법을 제안하여, 낮은 질서(신호) 성분과 잔차 성분을 분리한다.
• 하향 도함수의 편차를 이상적인 손실 행동에서 벗어나지 않도록 제어하기 위해, 새로운 강건한 제한 이sovmetry 성질인 Sign-RIP를 도입한다.
• 세 단계 분석 기법을 사용: 초기 일시적 단계, 잔차 감쇠가 일어나는 중간 단계, 최종 지수 수렴 단계.
• 신호, 교차, 잔차 항의 한 스텝 동역학(제안 7–9)을 활용하여 잔차 노름과 신호 오차의 진화를 경계한다.
• 작은 초기화가 잔차 항이 유한하고 감쇠되도록 보장함으로써, 신호 항이 지수적으로 수렴할 수 있음을 입증한다.
• 작은 초기화가 하향 도함수 스텝 크기를 작게 유지하고 잔차 성분을 무시할 수 있게 하여, 사실상 낮은 질서 모델을 시뮬레이션하는 데 기여한다.

실험 결과

연구 질문

• RQ1 SubGM은 임의의 노이즈 수준, 심지어 심각한 오염이 있는 경우에도, 복원 가능한 낮은 질서 행렬 복원 문제에서 전역 수렴을 달성할 수 있는가?
• RQ2 r′ ≫ r 인 상황에서도 작은 초기화가 SubGM 수렴에 대한 과도하게 파arameter화된 영향을 제거할 수 있는가?
• RQ3 전역 최적해나 국소 최적해가 진짜 행렬과 일치하지 않는 경우에도 SubGM은 진짜 해로 수렴할 수 있는가?
• RQ4 가우시안 측정치 하에서 SubGM의 수렴 속도는 과도하게 파arameter화된 질서 r′ 에 영향을 받지 않는가?
• RQ5 제안된 Sign-RIP 조건은 비미분, 비볼록 환경에서 하향 도함수의 행동을 어떻게 제어하는가?

주요 결과

• 작은 초기화를 사용할 경우, SubGM은 과도하게 파arameter화된 상황에 관계없이 진짜 낮은 질서 해로 지수적으로 전역 수렴한다.
• 작은 초기화가 과도하게 파arameter화된 영향을 제거하여, SubGM이 마치 r′ = r 인 것처럼 행동하게 하며, 이로 인해 지수 수렴 속도 향상이 가능하다.
• SubGM은 임의로 크고 밀도 높은 노이즈가 존재하는 상황, 심지어 전역 최적해가 진짜 행렬과 일치하지 않는 경우에도 진짜 해로 수렴한다.
• 가우시안 측정 모델 하에서 SubGM의 전역 수렴을 위한 샘플 수요는 과도하게 파arameter화된 질서 r′ 에 영향을 받지 않는다.
• 제안된 Sign-RIP 조건은 ℓ₁-손실의 하향 도함수가 이상적인 손실과 가까이 유지되도록 보장하여 수렴 분석이 가능하게 한다.
• 신호-잔차 분해에서의 잔차 항은 유한하고 시간이 지남에 따라 감쇠되며, 동시에 신호 항은 진짜 해로 지수적으로 수렴한다.