[논문 리뷰] Robust iterative hard thresholding for compressed sensing

Esa Ollila, Hyon‐Jung Kim외 1명|arXiv (Cornell University)|2014. 05. 07.

Sparse and Compressive Sensing Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 허버 M-추정을 사용하여 체계적이고 비정규적인 잡음의 척도를 함께 추정함으로써, 가우시안 잡음 하에서 near-optimal 성능를 달성하고, 비가우시안, 체중이 무거운, 또는 이상치가 많은 잡음 조건에서 표준 IHT와 LIHT를 크게 능가하는 강건한 반복적 하드 스레시딩(RIHT) 방법을 제안한다.

ABSTRACT

Compressed sensing (CS) or sparse signal reconstruction (SSR) is a signal processing technique that exploits the fact that acquired data can have a sparse representation in some basis. One popular technique to reconstruct or approximate the unknown sparse signal is the iterative hard thresholding (IHT) which however performs very poorly under non-Gaussian noise conditions or in the face of outliers (gross errors). In this paper, we propose a robust IHT method based on ideas from $M$-estimation that estimates the sparse signal and the scale of the error distribution simultaneously. The method has a negligible performance loss compared to IHT under Gaussian noise, but superior performance under heavy-tailed non-Gaussian noise conditions.

연구 동기 및 목표

• 비가우시안 또는 체중이 무거운 잡음 조건에서 표준 반복적 하드 스레시딩(IHT)의 열악한 성능를 해결하기 위해.
• 기존의 강건한 IHT 방법이 사전에 척도 추정이 필요로 하는 한계를 극복하기 위해 동시에 신호와 척도 추정이 가능한 방법을 개발하기 위해.
• 이상치와 체중이 무거운 오차 분포가 존재하는 상황에서도 높은 정확도를 유지하는 강건한 희박 신호 복원 알고리즘을 개발하기 위해.
• 가우시안 잡음 하에서 IHT에 비해 성능 저하가 최소화되면서도 체중이 무거운 잡음 하에서 강건성을 크게 향상시키기 위해.
• 임펄시브 잡음이 존재하는 실용적 상황에서 희박 신호 복원을 위한 계산적으로 효율적이고 안정적인 방법을 확보하기 위해.

제안 방법

• IHT의 표준 최소 제곱 손실을 대체하기 위해 허버 M-추정을 도입하여, 큰 잔차를 낮추는 강건한 손실 함수를 사용하기 위해.
• 반복 최적화 프레임워크를 통해 희박 신호 벡터 $\mathbf{x}$와 오차 분포의 척도 파라미터 $\sigma$를 동시에 추정하기 위해.
• 허버 손실에서 유도된 스코어 함수 $\psi$를 사용하여 IHT 알고리즘 내에서 강건한 기울기 업데이트를 계산하기 위해.
• 각 반복 단계에서 하드 스레시딩을 적용하여 희박성을 유지함으로써, 해가 항상 $K$-희박해 지도록 보장하기 위해.
• 허버 손실 함수에 트리밍 임계값 $c$를 적용하며, 실험에서 강건성과 효율성의 균형을 맞추기 위해 $c_1 = 1.345$ 및 $c_2 = 0.732$ 를 사용하기 위해.
• 최적화 문제를 허버 정규화 목적 함수로 설정하기 위해: $\sum_{i=1}^M \rho\left(\frac{y_i - \boldsymbol{\phi}_i^T \mathbf{x}}{\hat{\sigma}}\right)$, 여기서 $\rho$ 는 허버 손실이다.

실험 결과

연구 질문

• RQ1 사전 척도 추정이 필요 없이 동시에 신호와 잡음 척도를 추정할 수 있는 강건한 IHT 방법을 설계할 수 있는가?
• RQ2 제안된 허버 기반 IHT는 체중이 무거운 잡음(예: 스트루던의 t-분포) 하에서 표준 IHT와 LIHT에 비해 어떻게 성능를 발휘하는가?
• RQ3 가우시안 잡음 조건 하에서 제안된 방법과 IHT 사이의 성능 격차는 무엇인가?
• RQ4 다양한 허버 트리밍 임계값($c_1$, $c_2$)은 강건성과 복원 정확도에 어떤 영향을 미치는가?
• RQ5 저 SNR 및 체중이 무거운 잡음 하에서, 이 방법이 정확한 복원 확률(PER)을 얼마나 높은 비율로 유지하는가?

주요 결과

• 제안된 허버 IHT(HIHT)에서 $c_2 = 0.732$ 는 카이 희생 잡음(ν=1) 하에서 40 dB SNR에서 정확한 복원 확률(PER)이 100%를 달성하지만, IHT와 LIHT는 저 SNR에서 완전히 실패한다.
• 20 dB SNR에서 $t_\nu$ 잡음 하에서, HIHT-$c_2$ 는 PER가 0.82를 유지하지만, IHT와 LIHT는 각각 0.70과 0.24로 감소한다.
• 가우시안 잡음 하에서, HIHT-$c_1$ 는 표준 IHT에 비해 MSE에서 오직 0.2 dB 성능 손실만을 보이며, 이상적인 조건에서의 저하가 거의 없음을 보여준다.
• 라플라스 잡음 하에서, HIHT-$c_2$ 는 IHT보다 평균 1.9 dB의 SNR 이득을 기록하며, 20 dB SNR에서 2.5 dB의 이득을 기록한다.
• 40 dB SNR에서 모든 자유도 $\nu \in [1,5]$ 에 대해, 허버 IHT는 약 -6.5 dB의 안정적인 MSE를 유지하지만, IHT의 MSE는 $\nu$ 가 감소함에 따라 급격히 악화된다.
• LIHT는 가우시안 잡음 하에서 수렴 문제를 겪고 저 SNR에서 성능이 열악하여, 제안된 방법의 동시 추정의 우수성을 입증한다.