[논문 리뷰] Analysis and algorithms for some compressed sensing models based on L1/L2 minimization

Liaoyuan Zeng, Peiran Yu외 1명|arXiv (Cornell University)|2020. 07. 25.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 7

한 줄 요약

이 논문은 노이즈가 있는 상황에서 강건한 압축 측정을 위한 새로운 L1/L2 최소화 프레임워크를 제안한다. 비볼록 L1/L2 모델을 움직이는 공(approximation) 기법을 통해 노이즈 있는 측정치를 다룰 수 있도록 확장하였다. Kurdyka-Łojasiewicz (KL) 조건 하에서 선형 수렴성을 확립하였으며, 가우시안 노이즈와 코시 노이즈를 포함한 수치 실험에서 전통적인 L1 최소화보다 뛰어난 복원 정확도를 보였다.

ABSTRACT

Recently, in a series of papers [32,38,39,41], the ratio of $\ell_1$ and $\ell_2$ norms was proposed as a sparsity inducing function for noiseless compressed sensing. In this paper, we further study properties of such model in the noiseless setting, and propose an algorithm for minimizing $\ell_1$/$\ell_2$ subject to noise in the measurements. Specifically, we show that the extended objective function (the sum of the objective and the indicator function of the constraint set) of the model in [32] satisfies the Kurdyka-Lojasiewicz (KL) property with exponent 1/2; this allows us to establish linear convergence of the algorithm proposed in [39, Eq. 11] under mild assumptions. We next extend the $\ell_1$/$\ell_2$ model to handle compressed sensing problems with noise. We establish the solution existence for some of these models under the spherical section property [37,44], and extend the algorithm in [39, Eq. 11] by incorporating moving-balls-approximation techniques [4] for solving these problems. We prove the subsequential convergence of our algorithm under mild conditions, and establish global convergence of the whole sequence generated by our algorithm by imposing additional KL and differentiability assumptions on a specially constructed potential function. Finally, we perform numerical experiments on robust compressed sensing and basis pursuit denoising with residual error measured by $ \ell_2 $ norm or Lorentzian norm via solving the corresponding $\ell_1$/$\ell_2$ models by our algorithm. Our numerical simulations show that our algorithm is able to recover the original sparse vectors with reasonable accuracy.

연구 동기 및 목표

• 노이즈 없는 상황에서의 비볼록 L1/L2 최소화 모델을 노이즈 있는 압축 측정 설정으로 확장하기 위해.
• KL 성질과 미분 가능성 등의 온건한 가정 하에서 제안된 알고리즘의 수렴 보장을 확립하기 위해.
• 부등식 제약 조건이 있는 L1/L2 최소화 문제를 해결하기 위해 움직이는 공(approximation) 기법을 활용한 강건한 알고리즘을 개발하기 위해.
• 다양한 노이즈 모델 하에서 복원 오차와 잔차 오차 측면에서 제안된 L1/L2 모델과 표준 L1 최소화의 성능을 비교하기 위해.
• 가우시안 및 코시 노이즈 상황에서의 광범위한 수치 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• P1이 미분 가능하고 P2가 볼록인 일반적인 손실 함수 q(x) = P1(x) - P2(x)를 갖는 제약 조건이 있는 L1/L2 최소화 문제를 수립한다.
• 노이즈 있는 압축 측정 모델에서의 비볼록 부등식 제약 조건을 다루기 위해 움직이는 공(approximation) 기법을 적용한다.
• 온건한 가정 하에서 알고리즘의 부분수렴성을 확립하고, 구성된 잠재함수에 대한 추가적인 KL 조건과 미분 가능성 조건이 만족될 경우 전역 수렴성을 확보한다.
• 확장된 목적 함수가 지수 1/2를 가진 Kurdyka-Łojasiewicz (KL) 성질을 만족함을 증명하여, 알고리즘의 선형 수렴성을 보장한다.
• 알고리즘의 초기화를 위해 SPGL1에서 유도된 타당한 초기점을 사용하여, 불량한 조건의 경우에서도 강건성을 향상시킨다.
• 반복 과정에서 목적 함수의 충분한 감소를 보장하기 위해 선형 탐색 전략을 활용한다.

실험 결과

연구 질문

• RQ1 L1/L2 최소화 모델은 부등식 제약 조건이 있는 노이즈 있는 압축 측정에 확장될 수 있는가?
• RQ2 지수 1/2를 가진 Kurdyka-Łojasiewicz (KL) 성질 하에서 제안된 알고리즘이 선형 수렴성을 확보하는가?
• RQ3 가우시안 노이즈와 코시 노이즈 상황에서 복원 오차와 잔차 오차 측면에서 L1/L2 모델은 표준 L1 최소화보다 어떻게 성능이 뛰어나게 되는가?
• RQ4 불량한 조건과 타당하지 않은 초기점은 알고리즘의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ5 움직이는 공(approximation) 기법은 비볼록, 비미분 가능한 최적화 문제를 압축 측정에서 효과적으로 다룰 수 있는가?

주요 결과

• L1/L2 모델의 확장된 목적 함수는 지수 1/2를 가진 KL 성질을 만족하여, 온건한 가정 하에서 알고리즘의 선형 수렴성을 보장한다.
• 특히 구성된 잠재함수에 대해 추가적인 KL 조건과 미분 가능성 조건이 만족될 경우, 전체 수열의 전역 수렴성이 보장된다.
• 가우시안 노이즈 상황에서는 L1 최소화 대비 복원 오차가 최대 90% 감소하였으며, 특히 불량한 조건의 경우 두드러진 성능 향상을 보였다.
• 코시 노이즈 상황에서는 잔차 오차가 크게 향상되었으며, 대부분의 시험 케이스에서 평균 잔차 감소율이 90% 이상이었다.
• SPGL1에서 유도된 초기점이 매우 타당하지 않은 경우, L1/L2 알고리즘의 성능이 떨어지며, 초기화 품질에 민감함을 보였다.
• 수치 결과는 L1/L2 모델이 8개의 시험 구성 중 7개에서 L1 최소화를 능가하는 것으로 확인되었으며, 특히 동적 범위가 넓고 꼬리가 두꺼운 노이즈 환경에서 두드러진 성능을 보였다.