[논문 리뷰] Iteratively Reweighted Least Squares for Basis Pursuit with Global Linear Convergence Rate

Christian Kümmerle, Claudio Mayrink Verdun외 1명|Publication Server of the Catholic University Eichstätt-Ingolstadt (Catholic University of Eichstätt-Ingolstadt)|2020. 12. 22.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 9

한 줄 요약

이 논문은 기저 탐색(Basis Pursuit)에 적용된 반복 가중 최소 제곱법(IRLS) 변종에 대해 처음으로 전역 선형 수렴 속도를 확립한다. 측정 행렬이 영공간 성질을 만족할 경우, 어떤 초기화로부터도 희소 해로의 수렴이 선형 속도로 이루어짐을 증명한다. 이 결과는 기존 이론적 이해의 오랜 격차를 해결하며, IRLS가 사전에 지지 집합을 특정하지 않더라도 즉시 전역적으로 선형 오차 감소를 달성함을 보여준다.

ABSTRACT

The recovery of sparse data is at the core of many applications in machine learning and signal processing. While such problems can be tackled using $\ell_1$-regularization as in the LASSO estimator and in the Basis Pursuit approach, specialized algorithms are typically required to solve the corresponding high-dimensional non-smooth optimization for large instances. Iteratively Reweighted Least Squares (IRLS) is a widely used algorithm for this purpose due its excellent numerical performance. However, while existing theory is able to guarantee convergence of this algorithm to the minimizer, it does not provide a global convergence rate. In this paper, we prove that a variant of IRLS converges with a global linear rate to a sparse solution, i.e., with a linear error decrease occurring immediately from any initialization, if the measurements fulfill the usual null space property assumption. We support our theory by numerical experiments showing that our linear rate captures the correct dimension dependence. We anticipate that our theoretical findings will lead to new insights for many other use cases of the IRLS algorithm, such as in low-rank matrix recovery.

연구 동기 및 목표

• IRLS 수렴에 대한 이론적 격차를 메우기 위해 전역 선형 수렴 속도를 확립하는 것.
• 표준 영공간 성질 가정 하에, 초기화에 관계없이 IRLS가 희소 해로 선형 수렴함을 증명하는 것.
• 수치 성능의 차원 의존성을 올바르게 반영하는 엄밀한 분석을 제공하는 것.

제안 방법

• 부드러운 $ε$-정규화된 $–1$-노름 근사화를 사용하여 미분 가능성과 안정성을 확보하는 수정된 IRLS 알고리즘을 제안한다.
• 비미분 가능한 $–1$-노름 목표 함수를 지배하는 이차 상한을 제공하는 주요화-최소화 프레임워크를 활용한다.
• 현재 반복값의 크기를 기반으로 유연하게 조정된 가중치를 사용하는 가중 최소 제곱 하위문제의 순서를 적용한다.
• 수렴 보장을 갖는 공액 기울기 방법을 사용하여 하위문제를 해결한다.
• 리아푸노프 함수 논증과 조건수에 대한 경계를 통해 전역 선형 수렴을 확립한다.
• 희소 복원 및 수렴을 보장하기 위해 측정 행렬 $A$의 영공간 성질에 의존한다.

실험 결과

연구 질문

• RQ1 기저 탐색에 대한 IRLS가 초기화에 관계없이 전역 선형 수렴 속도를 달성할 수 있는가?
• RQ2 IRLS의 수렴 속도는 문제의 차원에 따라 달라지며, 이는 이론적으로 기록될 수 있는가?
• RQ3 진짜 신호의 지지 집합이 특정되기 이전에도 선형 수렴을 증명할 수 있는가?
• RQ4 측정 행렬의 조건수는 IRLS의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 이론적 수렴 속도는 고차원 설정에서 관측된 수치 성능과 일치하는가?

주요 결과

• 제안된 IRLS 변종은 어떤 초기점에서라도 희소 해로 전역 선형 수렴 속도를 달성하며, 오차는 선형적으로 감소한다.
• 수렴 속도는 명시적으로 경계되며, 측정 행렬 $A$의 조건수에 따라 결정되며, 속도는 $\kappa(A)^2$ 비례로 스케일링된다.
• 이론적 속도는 수치 실험을 통해 검증된 바와 같이 올바른 차원 의존성을 반영한다.
• 분석은 진짜 지지 집합이 특정되기 이전에도 선형 수렴이 발생함을 증명하여, 이전 국소 수렴 결과의 핵심 한계를 해결한다.
• 적응형 가중치를 통해 하위문제의 조건수를 잘 조절하여, 공액 기울기 방법을 사용한 정확한 해를 보장한다.
• 결과는 IRLS를 저질 랭크 행렬 복원 등 다른 문제로 확장하기 위한 이론적 기반을 제공한다.