[논문 리뷰] Global Linear and Local Superlinear Convergence of IRLS for Non-Smooth Robust Regression

Liangzu Peng, Christian Kümmerle외 1명|arXiv (Cornell University)|2022. 08. 25.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 ℓp-준노름을 사용하는 비스무스러운 강건한 회귀를 위한 반복적으로 재가중된 최소제곱법(IRLS)의 새로운 변종을 제안하며, p∈(0,1]일 때 안정된 범위 공간 성질(RSP) 하에 p=1일 경우 전역 선형 수렴성과 p∈(0,1)일 경우 국소 초선형 수렴성(수렴 속도 2−p)을 증명한다. 이 방법은 실제 위상 복원, 대응관계가 없는 회귀, 얼굴 복원 작업에서 이상치와 희박한 손상에 대해 최첨단 성능을 달성한다.

ABSTRACT

We advance both the theory and practice of robust $\ell_p$-quasinorm regression for $p \in (0,1]$ by using novel variants of iteratively reweighted least-squares (IRLS) to solve the underlying non-smooth problem. In the convex case, $p=1$, we prove that this IRLS variant converges globally at a linear rate under a mild, deterministic condition on the feature matrix called the extit{stable range space property}. In the non-convex case, $p\in(0,1)$, we prove that under a similar condition, IRLS converges locally to the global minimizer at a superlinear rate of order $2-p$; the rate becomes quadratic as $p o 0$. We showcase the proposed methods in three applications: real phase retrieval, regression without correspondences, and robust face restoration. The results show that (1) IRLS can handle a larger number of outliers than other methods, (2) it is faster than competing methods at the same level of accuracy, (3) it restores a sparsely corrupted face image with satisfactory visual quality. https://github.com/liangzu/IRLS-NeurIPS2022

연구 동기 및 목표

• p∈(0,1]인 ℓ1-정규화된 강건한 회귀에 대해 결정론적 조건 하에 IRLS의 전역 선형 수렴성을 확립하는 것.
• 비볼록 ℓp-회귀(p∈(0,1))에 대해 IRLS의 국소 초선형 수렴성을 증명하고, 수렴 속도 2−p를 규명하는 것.
• 이상치와 희박한 손상이 포함된 실제 응용 분야에서 제안된 IRLS 변종의 효과성을 입증하는 것.
• 안정된 범위 공간 성질(RSP)을 정확한 복원과 수렴성에 핵심 조건으로 도입하고 그 타당성을 설명하는 것.
• p∈(0,1)인 ℓp-최소화가 희박한 복원 설정에서 ℓ1보다 더 낮은 샘플 복잡도와 더 높은 강건성을 제공하는지 보여주는 것.

제안 방법

• p∈(0,1]인 ℓp-회귀를 위한 새로운 IRLS 변종을 제안하며, 가중 최소제곱 문제를 해결하고 p에 따라 달라지는 규칙에 따라 가중치를 갱신하는 순환 구조를 사용한다.
• 수렴 안정성과 0으로 나누는 것을 방지하기 위해 가중치 계산에 동적 ε-허용 오차를 도입한다.
• 희박한 해의 유일한 복원을 보장하는 결정론적 조건으로 안정된 범위 공간 성질(RSP)을 사용한다.
• 수정된 가중치 갱신 방식을 사용: w_i^{(t)} = 1 / (max(|r_i|, ε)^{2−p})이며, 여기서 r_i는 잔차이고 ε는 적응적으로 갱신된다.
• 실제 응용 분야인 실제 위상 복원, 대응관계가 없는 회귀, 강건한 얼굴 복원에 이 방법을 적용한다.
• 랜덤 행렬 이론과 고론의 메시를 통과하는 도전 정리 등의 이론적 도구를 사용하여, 가우시안 행렬에 대해 RSP 조건이 높은 확률로 성립함을 증명한다.

실험 결과

연구 질문

• RQ1 ℓ1-강건한 회귀에 대해 IRLS가 어떤 조건에서 선형 수렴 속도로 전역 수렴하는가?
• RQ2 비볼록 ℓp-회귀(p∈(0,1))에 대해 IRLS가 초선형 수렴을 달성할 수 있으며, 그 정확한 수렴 속도는 무엇인가?
• RQ3 안정된 범위 공간 성질(RSP)은 ℓp-회귀에서 희박한 해의 유일성과 복원과 어떤 관련이 있는가?
• RQ4 p∈(0,1)인 ℓp-최소화가 이상치에 대한 강건성과 샘플 효율성 측면에서 ℓ1보다 뛰어나다고 할 수 있는가?
• RQ5 제안된 IRLS 변종은 위상 복원 및 이미지 복원과 같은 실제 문제에서 대규모 이상치 손상에 효과적으로 대응할 수 있는가?

주요 결과

• p=1일 경우, RSP 조건 하에 IRLS는 전역적으로 선형 수렴 속도를 보이며, 이 조건은 가우시안 설계 행렬에 대해 높은 확률로 성립한다.
• p∈(0,1)일 경우, IRLS는 국소적으로 전역 최소화점을 초선형 수렴 속도 2−p로 수렴하며, p→0에 수렴할수록 제곱 수렴에 가까워진다.
• 위상 복원 및 대응관계가 없는 회귀 문제에서, 제안된 IRLS 방법은 경쟁 방법들보다 훨씬 더 많은 이상치를 처리할 수 있다.
• 희박한 손상 환경에서 기준 솔버(FOM, PDLP, Gurobi 등)와 비교해 유사하거나 더 빠른 런타임으로 더 높은 정확도를 달성한다.
• 강건한 얼굴 복원에서, 이 방법은 희박하게 손상된 입력에서 시각적으로 타당한 이미지를 성공적으로 복원하며 최첨단 기법들을 능가한다.
• 이론적 분석을 통해 ℓp-회귀에서 진짜 희박한 해의 유일한 복원을 위해 RSP 조건이 필수적이고 충분함을 확인한다.