[논문 리뷰] An Iteratively Reweighted Least Squares Algorithm for Sparse Regularization

Sergey Voronin, Ingrid Daubechies|arXiv (Cornell University)|2015. 11. 29.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 각 성분의 스파arsity 유도 페널티가 다를 수 있도록 허용하는 일반화된 스파arsity 유도 기능을 최소화하기 위한 반복적으로 재가중된 최소 제곱법(IRLS) 알고리즘을 제안한다. 이 기능은 각각 다른 지수 $q_k$와 가중치 $λ_k$를 가진 비동일한 $´\ell_1$-유사 페널티를 포함한다. 방법은 비미분 가능성을 가진 절대값 항을 반복적으로 매끄럽게 하여 원래의 비미분 기능의 최소화점을 수렴하게 하며, 이는 이차 하位문제를 통한 효율적인 최적화를 가능하게 한다.

ABSTRACT

We present a new algorithm and the corresponding convergence analysis for the regularization of linear inverse problems with sparsity constraints, applied to a new generalized sparsity promoting functional. The algorithm is based on the idea of iteratively reweighted least squares, reducing the minimization at every iteration step to that of a functional including only $\ell_2$-norms. This amounts to smoothing of the absolute value function that appears in the generalized sparsity promoting penalty we consider, with the smoothing becoming iteratively less pronounced. We demonstrate that the sequence of iterates of our algorithm converges to a limit that minimizes the original functional.

연구 동기 및 목표

• 지수 $q_k \in [1,2]$ 및 성분별로 다를 수 있는 가중치 $λ_k$를 갖는 일반화된 스파arsity 유도 기능 $F_{\mathbf{q},\boldsymbol{\lambda}}(x) = \|Ax - b\|_2^2 + 2\sum_k \lambda_k |x_k|^{q_k}$ 를 최소화하기 위한 수렴 가능한 알고리즘을 개발하는 것.
• 표준 $\ell_1$-기반 방법의 한계를 해결하기 위해 각 계수에 대해 다른 스파arsity 자극 페널티를 허용함으로써, 신호가 혼합된 스파스 및 밀도 성분을 가질 경우에 특히 유용한 방법을 제공하는 것.
• 전통적인 IRLS 프레임워크를 비동일한 $q_k$-노름 페널티를 갖는 비제약 최적화 문제로 확장하여, 웨이브렛 분해와 같은 다스케일 표현에의 적용을 가능하게 하는 것.
• 보조 기능의 매끄럽기 정도와 반복 해의 수렴 속도 사이의 관계를 연결하는 엄밀한 수렴 분석을 제공하는 것.
• 특히 이미지 블러링 제거 및 압축 센싱에서 비균일한 스파스 패턴을 가진 신호를 복원하는 데서 ISTA/FISTA보다 우수한 성능을 보이는 알고리즘의 성능을 입증하는 것.

제안 방법

• 각 반복 단계에서, 비미분 가능한 $|x_k|^{q_k}$ 항은 현재 반복값에 기반한 가중치를 가진 $\ell_2$-노름을 사용한 매끄러운 보조 기능으로 근사된다.
• 각 단계의 하위문제는 표준 최소 제곱 문제로 간소화된다: $\min_x \|Ax - b\|_2^2 + \sum_k w_k^{(n)} (x_k - x_k^{(n)})^2$, 여기서 $w_k^{(n)}$ 는 반복적으로 갱신되는 가중치이다.
• 가중치는 $w_k^{(n)} = \frac{1}{2} q_k \lambda_k (|x_k^{(n)}| + \varepsilon)^{2 - q_k}$ 로 정의되며, $\varepsilon > 0$ 을 통해 0으로 나누는 것을 방지하여 매끄럽기를 보장한다.
• 알고리즘은 반복이 진행됨에 따라 점차 덜 매끄러운 근사화를 통해 해를 점진적으로 개선한다.
• 다양한 정규화 매개변수 $\tau$ 에 대한 계속성 기법을 도입하여 이전 해를 초기 추정치로 재사용함으로써 알고리즘을 확장한다.
• 공액 기울기 방법은 이차 하위문제에 자연스럽게 적용되어 대규모 문제에 대한 효율적인 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스파arsity 정규화에서 비동일한 $q_k$-노름 페널티를 다룰 수 있도록 IRLS 기반 알고리즘을 일반화할 수 있는가? 이는 각 계수에 대해 다른 스파arsity 제약 조건을 허용한다.
• RQ2 반복적으로 재가중된 방법의 수렴성은 보조 기능의 매끄러움 정도와 원래의 비미분 기능 사이에 어떤 관계가 있는가?
• RQ3 제안된 알고리즘이 혼합된 스파스 및 밀도 성분을 가진 신호를 복원하는 데서 표준 ISTA/FISTA보다 뛰어나게 성능을 발휘하는가? 특히 계수별로 $q_k$ 가 적응되는 경우에 대해.
• RQ4 粗역할과 세밀한 스케일 성분이 다른 정규화가 필요한 다스케일 표현(예: 웨이브렛 계수)을 효과적으로 처리할 수 있는가?
• RQ5 이미지 블러링 및 압축 센싱 작업에서 $q_k < 1$ 을 사용할 경우 재구성의 날카움과 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• IRLS 알고리즘은 미약한 조건 하에서 원래의 비미분 기능 $F_{\mathbf{q},\boldsymbol{\lambda}}(x)$ 의 최소화점을 수렴함을 보장한다.
• 반반스파스, 반반밀도 신호에서, 스파스 부분에 대해 $q_k=1$, 밀도 부분에 대해 $q_k=1.9$ 를 사용한 IRLS 알고리즘이 균일한 $q_k=1$ 을 사용한 ISTA/FISTA 보다 복원 오차를 줄여 더 우수한 성능을 보였다.
• 가우시안 블러와 노이즈가 있는 이미지 블러링(신호대노이즈비 25)에서, $q_k=0.85$ 를 사용한 IRLS 재구성은 $q_k=1$ 보다 더 선명한 이미지를 제공하여 시각적 품질 향상을 입증했다.
• 알고리즘은 수렴 속도에서 FISTA 와 유사한 성능를 보였으며, 각 계수에 대해 적응형 스파arsity 제어를 가능하게 했다.
• $\tau$ 값에 대한 계속성 기법을 사용함으로써, 특히 조건이 나쁜 시스템에서 복원 정확도가 향상되었다.
• 다양한 행렬 조건에서 안정적이며, $1000 \times 1000$ 행렬 실험에서 $12\%$ 스파스 신호를 대상으로 대규모 문제에 잘 스케일링됨을 보였다.