[논문 리뷰] Sparse Regularization: Convergence Of Iterative Jumping Thresholding Algorithm

Jinshan Zeng, Shao-Bo Lin외 1명|arXiv (Cornell University)|2014. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 비볼록 페널티와 불연속 임계값 함수를 갖는 $l_q$-노름($0<q<1$)을 사용한 희박 정규화를 위한 반복적 점프 임계값 알고리즘(IJT)을 제안한다. 유한 지지 및 부호 수렴을 확립하고, 제한된 쿠르디카-로자셰비츠 조건(rKL)과 추가적인 미세성 조건 하에서 국소 최소화점으로의 강수렴과 점차적으로 선형 수렴 속도를 증명한다.

ABSTRACT

In recent studies on sparse modeling, non-convex penalties have received considerable attentions due to their superiorities on sparsity-inducing over the convex counterparts. Compared with the convex optimization approaches, however, the non-convex approaches have more challenging convergence analysis. In this paper, we study the convergence of a non-convex iterative thresholding algorithm for solving sparse recovery problems with a certain class of non-convex penalties, whose corresponding thresholding functions are discontinuous with jump discontinuities. Therefore, we call the algorithm the iterative jumping thresholding (IJT) algorithm. The finite support and sign convergence of IJT algorithm is firstly verified via taking advantage of such jump discontinuity. Together with the assumption of the introduced restricted Kurdyka-Łojasiewicz (rKL) property, then the strong convergence of IJT algorithm can be proved.Furthermore, we can show that IJT algorithm converges to a local minimizer at an asymptotically linear rate under some additional conditions. Moreover, we derive a posteriori computable error estimate, which can be used to design practical terminal rules for the algorithm. It should be pointed out that the $l_q$ quasi-norm ($0

연구 동기 및 목표

• 비볼록 희박 정규화에서 수렴 분석의 과제를 다루기 위해, 특히 불연속 임계값 함수를 갖는 페널티에 대해.
• 임계값 함수에 점프 불연속성이 존재할 경우 반복적 임계값 알고리즘의 유한 지지 및 부호 수렴을 확립하기 위해.
• 제한된 쿠르디카-로자셰비츠(rKL) 성질 하에서 IJT 알고리즘이 국소 최소화점으로 강수렴함을 증명하기 위해.
• 추가적인 미세성 및 집중 조건 하에서 점차적으로 선형 수렴 속도를 유도하기 위해.
• 실제 알고리즘 정지 기준을 위한 사후 계산 가능한 오차 추정치를 제공하기 위해.

제안 방법

• 비볼록 페널티, 특히 불연속 임계값 함수를 갖는 희박 복원 문제를 해결하기 위해 반복적 점프 임계값(IJT) 알고리즘을 제안한다.
• 임계값 함수의 점프 불연속성을 활용하여 반복값의 유한 지지 및 부호 수렴을 확립한다.
• 제한된 쿠르디카-로자셰비츠(rKL) 성질을 적용하여 IJT 반복값이 정류점으로의 강수렴을 증명한다.
• 테일러 전개와 행렬 분석을 활용하여 국소 최소화점 주변에서 선형 수렴 속도를 유도한다.
• 수렴 속도와 삼각부등식을 기반으로 한 사후 오차 추정치를 유도하여 실용적인 정지 기준을 제공한다.
• $l_q$-노름($0<q<1$)을 핵심 하위클래스로 분석하여, 집중 조건 하에서 선형 수렴이 성립함을 보여준다.

실험 결과

연구 질문

• RQ1 IJT 알고리즘이 불연속 임계값 함수를 갖는 비볼록 페널티에 대해 유한 지지 및 부호 수렴을 달성할 수 있는가?
• RQ2 IJT 알고리즘이 어떤 조건에서 국소 최소화점으로 강수렴하는가?
• RQ3 IJT 알고리즘의 점차적 수렴 속도는 무엇이며, 어떤 가정 하에서 선형인가?
• RQ4 실제 알고리즘 정지를 지도하기 위해 계산 가능한 오차 추정치를 어떻게 도출할 수 있는가?
• RQ5 적절한 집중 조건 하에서 $l_q$-노름 정규화($0<q<1$)에 대해 IJT 알고리즘이 선형 수렴을 유지하는가?

주요 결과

• 임계값 함수의 점프 불연속성 덕분에 IJT 알고리즘이 유한 지지 및 부호 수렴을 달성한다.
• 제한된 쿠르디카-로자셰비츠(rKL) 성질 하에서 IJT 알고리즘은 국소 최소화점으로 강수렴한다.
• 추가적인 미세성 및 집중 조건 하에서 IJT 알고리즘은 국소 최소화점으로 점차적으로 선형 수렴 속도를 보인다.
• $l_q$-노름 정규화($0<q<1$)에 대해선 적절한 집중 조건 하에서 IJT 알고리즘이 선형 수렴을 달성한다.
• 사후 계산 가능한 오차 추정치가 도출되어 실용적 구현과 신뢰할 수 있는 정지 기준을 가능하게 한다.
• 시뮬레이션 결과 이론적 수렴 행동을 확인하였고, IRLS 및 IRL1과 비교해 $q=1/2$ 및 $q=2/3$에서 시간 효율성이 뛰어나다는 것을 입증한다.