[논문 리뷰] A fast randomized Kaczmarz algorithm for sparse solutions of consistent linear systems

Hassan Mansour, Özgür Yılmaz|arXiv (Cornell University)|2013. 05. 16.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 9

한 줄 요약

이 논문은 일관된 선형 시스템의 희소 해에 대해 수렴 속도를 가속화하기 위해 행렬의 행들을 적응적으로 가중하여 비지지 성분의 기여를 억제함으로써 희소 랜덤화 카츠마르츠(SRK) 알고리즘을 제안한다. 동적으로 $1/\textstyle\sqrt{j}$로 비지지 요소를 스케일링함으로써 SRK는 표준 랜덤화 카츠마르츠보다 더 빠른 수렴 속도를 달성하며, 특히 희소 해에서 뛰어난 성능을 보이며, 과정이 부족한 시스템에서도 희소 신호를 성공적으로 복원하여 $$\ell_1$ 최소화 성능을 따라간다.

ABSTRACT

The Kaczmarz algorithm is a popular solver for overdetermined linear systems due to its simplicity and speed. In this paper, we propose a modification that speeds up the convergence of the randomized Kaczmarz algorithm for systems of linear equations with sparse solutions. The speedup is achieved by projecting every iterate onto a weighted row of the linear system while maintaining the random row selection criteria of Strohmer and Vershynin. The weights are chosen to attenuate the contribution of row elements that lie outside of the estimated support of the sparse solution. While the Kaczmarz algorithm and its variants can only find solutions to overdetermined linear systems, our algorithm surprisingly succeeds in finding sparse solutions to underdetermined linear systems as well. We present empirical studies which demonstrate the acceleration in convergence to the sparse solution using this modified approach in the overdetermined case. We also demonstrate the sparse recovery capabilities of our approach in the underdetermined case and compare the performance with that of $\ell_1$ minimization.

연구 동기 및 목표

• 행렬 $Ax=b$의 해가 희소할 경우 랜덤화 카츠마르츠 알고리즘의 수렴 속도를 가속화하는 것.
• 밀도 높은 행에 노이즈 또는 관련 없는 성분이 존재할 경우 표준 랜덤화 카츠마르츠의 수렴 속도 저하 문제를 해결하는 것.
• 카츠마르츠 유형 방법의 적용 범위를 과잉 결정 시스템을 초과하여 희소 해를 가진 과소 결정 시스템으로 확장하는 것.
• 볼록 최적화 문제를 풀지 않고도 압축 감지에서 $$\ell_1$ 최소화 성능과 비교 가능한 성능을 달성하는 것.

제안 방법

• 알고리즘은 랜덤화 카츠마르츠와 동일한 행 선택 확률을 사용한다: $\frac{\|a_i\|_2^2}{\|A\|_F^2}$, 이는 무작위화를 유지하면서도 수렴 보장을 보존한다.
• 각 반복 단계 $j$에서 가중 벡터 $\mathbf{w}_j$ 를 구성한다: $w_j(l) = 1$ 이면 $l \in S$ (지지 추정), 그 외에는 $w_j(l) = \frac{1}{\sqrt{j}}$.
• 업데이트 규칙은 가중 투영을 적용한다: $x_j = x_{j-1} + \frac{b(i) - \langle \mathbf{w}_j \odot a_i, x_{j-1} \rangle}{\|\mathbf{w}_j \odot a_i\|_2^2} (\mathbf{w}_j \odot a_i)^T$, 비지지 항목의 영향을 감소시킨다.
• 지지 추정 $S$ 는 매 단계에서 $x_{j-1}$ 의 크기의 $\max\{\hat{k}, n-j+1\}$ 번째로 큰 항목들로 갱신되며, 시간이 지남에 따라 희소성 가정을 정교화한다.
• 가중치 부여 방식은 $j \to \infty$ 일 때 $\mathbf{w}_j \odot a_i \to a_{iS}$ 가 되도록 보장하여, 효과적으로 시스템을 지지 부분공간으로 축소시킨다.
• 이 방법은 스토로머와 버시니의 랜덤화 행 선택을 유지하면서도, 동적 가중치를 통한 관련 성분 집중으로 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 수렴 보장을 유지하면서도 투영 단계를 수정함으로써 랜덤화 카츠마르츠 알고리즘을 희소 해에 대해 가속화할 수 있는가?
• RQ2 지지 추정에 기반한 동적 행 가중치가 과잉 결정 시스템에서 희소 해의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 수정된 알고리즘이 과소 결정 시스템에서 희소 해를 복원할 수 있으며, 그 성능은 $$\ell_1$ 최소화와 어떻게 비교되는가?
• RQ4 지지 추정 정확도와 가중치 감쇠 비율은 복원 성공률과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 진짜 해가 희소할 경우, 지지 집합에 대한 사전 지식 없이도 표준 랜덤화 카츠마르츠보다 빠르게 수렴하는가?

주요 결과

• SRK는 특히 희소성이 높은 해($k/n = 0.6$)에서 과잉 결정 시스템에서 표준 랜덤화 카츠마르츠보다 유의미하게 더 빠른 수렴 속도를 보이며, $A_{S_0}x_{S_0} = b$ 에 적용된 RK의 수렴 속도에 가까워진다.
• 과소 결정 시스템($m=100$, $n=400$)에서 SRK는 $k/m \in \{0.1, 0.2, 0.25\}$ 인 희소 신호를 성공적으로 복원하여, $$\ell_1$ 최소화 성능과 비교할 만한 희소 복원 능력을 보여준다.
• 희소성 증가(예: $k/m = 0.25$)에 따라 성능이 저하되지만, 여전히 RK보다 더 효과적이며 공정한 반복 비교에서 SPGL1과 경쟁 가능하다.
• 모든 테스트된 희소성 수준에서 SRK는 표준 RK보다 수렴 속도가 더 빠르며, 저희소 영역에서 가장 큰 성과를 보였다.
• SRK의 수렴 속도는 지지 제한 행렬 $\kappa(A_S)$ 의 조건수에 반비례하며, 이는 $\kappa(A)$ 보다 작기 때문에 가속화가 설명된다.
• 실험 결과 SRK는 볼록 최적화를 피하는 단순 반복적 투영만을 사용하면서도 SPGL1(표준 $$\ell_1$ 해법기)과 비슷한 복원 성능을 달성한다.