[논문 리뷰] Linear convergence of the Randomized Sparse Kaczmarz Method

Frank Schöpfer, Dirk A. Lorenz|arXiv (Cornell University)|2016. 10. 10.

Sparse and Compressive Sensing Techniques인용 수 2

한 줄 요약

이 논문은 선형 시스템의 희소 해를 복원하기 위해 설계된 Kaczmarz 알고리즘의 변종인 랜덤화된 희소 Kaczmarz 방법에 대해 기대값 기반 선형 수렴성을 확립한다. 분할 가능성을 고려한 랜덤화된 Bregman 투영과 강凸 및 조각별 선형-이차 함수에 대한 오차 한계의 확장에 기반하여, 저질서 행렬 최적화와 함께 ℓ1-노름 정규화를 통한 희소 복원 문제에 대해 선형 수렴성을 증명한다. 수치 결과는 표준 및 비랜덤화된 변종보다 향상된 성능을 확인한다.

ABSTRACT

The randomized version of the Kaczmarz method for the solution of linear systems is known to converge linearly in expectation. In this work we extend this result and show that the recently proposed Randomized Sparse Kaczmarz method for recovery of sparse solutions, as well as many variants, also converges linearly in expectation. The result is achieved in the framework of split feasibility problems and their solution by randomized Bregman projections with respect to strongly convex functions. To obtain the expected convergence rates we prove extensions of error bounds for projections. The convergence result is shown to hold in more general settings involving smooth convex functions, piecewise linear-quadratic functions and also the regularized nuclear norm, which is used in the area of low rank matrix problems. Numerical experiments indicate that the Randomized Sparse Kaczmarz method provides advantages over both the non-randomized and the non-sparse Kaczmarz methods for the solution of over- and under-determined linear systems.

연구 동기 및 목표

• 희소 선형 시스템 복원 문제에서 랜덤화된 희소 Kaczmarz 방법의 기대값 기반 선형 수렴성을 확립하기 위해.
• 표준 Kaczmarz 방법의 수렴 분석을 초월하여 소프트 스트리핑을 통한 희소성 장려 정규화를 포함하기 위해.
• 특히 희소 및 낮은 질서 해에 대해 과다 및 과소 결정된 시스템에서 방법의 효과성을 입증하기 위해.
• 부드러운 볼록 함수, 조각별 선형-이차 함수, 그리고 정규화된 핵심 노름 문제를 포함하는 수렴 프레임워크를 일반화하기 위해.
• 희소 Kaczmarz 반복에서의 무작위화의 관찰된 수치적 이점에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 선형 제약 조건으로 정의된 초평면에 대한 랜덤화된 Bregman 투영을 사용하며, 행 선택은 행의 노름 제곱 비례로 수행된다.
• 각 투영 단계 이후 소프트 스트리핑(소프트 수축)을 적용하여 희소성을 강제함으로써 정규화된 기초 추적 문제의 해를 모델링한다.
• 희소 복원 문제의 이중 형태를 사용하고 반복을 이중 문제에 대한 랜덤화된 좌표 그래디언트 디센트로 해석한다.
• 강볼록 및 조각별 선형-이차 함수에 대한 투영의 확장된 오차 한계를 통해 수렴성을 확립한다.
• 벡터 ℓ1-노름을 행렬의 핵심 노름으로 대체하고 특이값 스트리핑을 사용하여 저질서 행렬 복원에 이 프레임워크를 적용한다.
• 볼록 쌍대 함수와 초미분 이론을 사용하여 Bregman 투영의 구조를 분석하고 수축 성질을 유도한다.

실험 결과

연구 질문

• RQ1 랜덤화된 희소 Kaczmarz 방법은 희소 선형 시스템에서 기대값 기반으로 선형 수렴성을 보인다 할 수 있는가?
• RQ2 랜덤화된 Bregman 투영의 수렴 프레임워크는 ℓ1 및 핵심 노름과 같은 비연속적이고 비제곱 정규화에까지 확장될 수 있는가?
• RQ3 희소 Kaczmarz 방법에서 무작위 전략은 순환 또는 결정론적 전략에 비해 수렴 속도에 어떤 영향을 미치는가?
• RQ4 조건 수나 희소성 수준과 같은 문제 특화 매개변수에 따라 방법의 수렴 속도는 어떻게 되는가?
• RQ5 강볼록 및 조각별 선형-이차 함수를 초월한 다른 종류의 볼록 함수 클래스로 이론적 수렴 결과를 일반화할 수 있는가?

주요 결과

• 랜덤화된 희소 Kaczmarz 방법은 목적 함수를 매끄럽게 하지 않더라도 희소 복원 문제에서 기대값 기반 선형 수렴성을 보인다.
• Bregman 투영에 대한 확장된 오차 한계를 통해 수렴 속도가 강볼록 및 조각별 선형-이차 함수에 적용 가능하다.
• 이 방법은 벡터 ℓ1-정규화 문제뿐만 아니라 핵심 노름 정규화를 통한 저질서 행렬 복원 문제에도 선형 수렴성을 달성한다.
• 수치 실험 결과, 비랜덤화된 희소 Kaczmarz 및 표준 Kaczmarz 방법에 비해 랜덤화된 변종이 수렴 속도와 희소성 유지 측면에서 뛰어난 성능을 보인다.
• 과다 결정된 시스템에서도 랜덤화된 희소 Kaczmarz 방법은 잔차 감소 속도가 더 빠르고 오차가 더 낮게 유지된다.
• 수렴 속도의 수축 상수는 문제 특화 양(예: L 및 γ)에 따라 달라지며, 문제 데이터만으로는 쉽게 계산되지 않는다.