[논문 리뷰] Global convergence of the subgradient method for robust signal recovery

Zesheng Cai, Lexiao Lai외 1명|arXiv (Cornell University)|2026. 01. 15.

Sparse and Compressive Sensing Techniques인용 수 0

한 줄 요약

논문은 bounded 연속 시간 부분구gradient 궤적 가정하에 로버스트 회복 문제(로버스트 PCA, 로버스트 위상 복구, 로버스트 매트릭스 센싱)에 적용된 부분구gradient 방법에 대한 글로벌 수렴 프레임워크를 개발하고, 작은 스텝 사이즈에서 rank-one 대칭 로버스트 PCA에 대해 거의 모든 곳에서의 글로벌 수렴을 보인다.

ABSTRACT

We study the subgradient method for factorized robust signal recovery problems, including robust PCA, robust phase retrieval, and robust matrix sensing. The resulting objectives are nonsmooth and nonconvex, and can have unbounded sublevel sets, so standard analyses based on descent and coercivity do not apply. For locally Lipschitz semialgebraic objectives, we develop a convergence framework that replaces these requirements with a boundedness condition on continuous-time subgradient trajectories. Under this condition and sufficiently small step sizes of order $1/k$, we show that iterates of the subgradient method remain bounded and the full sequence converges to a critical point. We then verify the required boundedness property for the three robust objectives by adapting existing trajectory analyses, assuming a mild nondegeneracy condition in the matrix sensing case. Finally, for rank-one symmetric robust PCA, we prove that for almost every initialization, the method cannot converge to spurious critical points; consequently, under the same step-size regime, it converges to a global minimum.

연구 동기 및 목표

• 팩토라이즈된 로버스트 회복 목표(로버스트 PCA, 로버스트 위상 복구, 로버스트 매트릭스 센싱)를 위한 부분구gradient 방법의 글로벌 수렴성 조사.
• 제한된 bounded 연속 시간 부분구gradient 궤적 가정하에 로컬 Lipschitz semialgebraic 목표함수에 대한 수렴 프레임워크 개발.
• 초기화가 bounded 집합에 있을 때, 스텝 사이즈가 1/k 차수인 경우 부분구gradient 시퀀스가 유계이며 임계점으로 수렴함을 보인다.
• 매트릭스 센싱에서 약한 비특이성 조건 및 궤적 분석을 사용해 세 가지 로버스트 목표의 bounded-trajectory 가정을 검증한다.
• rank-one 대칭 로버스트 PCA의 경우 데이터 벡터에 0이 없는 경우, 거의 모든 초기화가 작은 비합산 스텝 사이즈 하에서 전역 최솟값으로 수렴하며 정점점 여부를 피한다

제안 방법

• 노이즈에 강건성을 촉진하기 위해 ell1 손실을 사용하는 비평형 비선형 팩토라이즈된 목표로 로버스트 회복 문제를 모델링한다.
• Clarke 부분구 도함수(calc)을 사용하여 부분구gradient 업데이트를 정의한다.
• bounded 연속 시간 부분구gradient 궤적 가정(가정 2.6)을 도입하고 semialgebraic 구조를 활용하여 궤적의 길이 상한을 얻는다.
• alpha_k = alpha/(k+1)인 스텝 사이즈 하에서 부분구 gradient 시퀀스의 직경에 대한 상한(정리 2.8)을 증명한다.
• 전체 부분구gradient 시퀀스가 임계점으로 수렴한다는 것을 보인다(결론 2.9).
• rank-one 대칭 로버스트 PCA의 경우, 스팸 없는(무제로) 데이터 벡터에서 거의 모든 초기화가 작은 비합산 스텝 사이즈 하에서 정점점을 피하고 전역 최솟값으로 수렴하는 것을 분석한다(정리 3.1).

실험 결과

연구 질문

• RQ1 1/k 차수의 스텝 사이즈 하에서 임의의 초기화에서 팩토라이즈된 로버스트 회복 목표에 대한 부분구gradient 시퀀스가 임계점으로 수렴하는가?
• RQ2 특히 rank-one 대칭 로버스트 PCA에서 이러한 시퀀스가 스팸(허위) 임계점으로 수렴하는 것을 피하는 조건은 무엇인가?
• RQ3 강제성(coercivity)이나 전역 Lipschitz 연속성 없이 bounded 연속 시간 부분구gradient 궤적이 글로벌 수렴을 보장할 수 있는가?
• RQ4 매트릭스 센싱에서 비특이성(nondegeneracy) 조건이 궤적의 유계성과 수렴에 어떤 영향을 미치는가?
• RQ5 rank-one 대칭 로버스트 PCA의 지형은 어떠하며 거의 모든 초기화가 글로벌 최솟값을 보장하는가?

주요 결과

• 로컬 Lipschitz semialgebraic 목표에 대해 bounded subgradient 궤적 하에서 하한이 무한대인 경우에도 일반 수렴 프레임워크를 개발한다.
• alpha_k = alpha/(k+1)인 스텝 사이즈에서 bounded 집합에서 초기화된 부분구gradient 시퀀스의 직경은 균일하게 유계이다(정리 2.8).
• 전체 부분구gradient 시퀀스는 충분히 작은 alpha에서 임계점으로 수렴한다(결론 2.9).
• 로버스트 PCA, 로버스트 위상 복구, 로버스트 매트릭스 센싱 목표는 bounded-trajectory 조건을 만족하여 수렴 프레임워크를 검증한다(제안 2.3–2.5).
• 데이터 벡터에 0이 없는 rank-one 대칭 로버스트 PCA의 경우 거의 모든 초기화가 작은 스텝 사이즈 하에서 전역 최소값으로 수렴하고 spurious 임계점을 피한다(정리 3.1 및 보충정리 3.3).