[논문 리뷰] Asymptotically Exact Denoising in Relation to Compressed Sensing

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|2013. 05. 13.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 6

한 줄 요약

이 논문은 볼록 정규화를 통한 渐近적 정확한 노이즈 제거와 압축 감지 단계 전이 사이의 정확한 연결을 수립한다. f라는 구조 유도 볼록 함수를 사용하여, i.i.d. 가우시안 노이즈 하에서 최적 추정기의 정규화된 평균 제곱 오차(MSE)가 x₀에서 f의 초미분(subdifferential)으로 유도된 단계 전이 임계값 ∆f(x₀)와 정확히 일치함을 보여준다.

ABSTRACT

We consider the denoising problem where we wish to estimate a structured signal x0 from corrupted observations y = x0 + z. Typical structures include sparsity, block sparsity and low rankness. We use a structure inducing convex function f and solve minx 1 2 ‖y−x‖22 +λf(x) to estimate x0. For example, f(·) is the `1 norm for sparse vectors, `1 − `2 norm for block-sparse signals and it is the nuclear norm for low rank matrices. When the noise vector z is i.i.d. Gaussian, we show that the normalized estimation error (MSE) of the optimally tuned problem coincides with the compressed sensing phase transitions, i.e., the number ∆f (x0) so that one needs m> ∆f (x0) compressed observations Ax0 ∈ Rm to recover x0 by solving minAx=Ax0 f(x). ∆f (x0) can be given as an explicit formula based on the subdifferential of f(·) at x0. We then connect our results to the generalized LASSO problem in which we have m noisy compressed observations y = Ax0 + z ∈ Rm and solve minf(x)≤f(x0) ‖y−Ax‖22. We show that, certain properties of

연구 동기 및 목표

• 볼록 정규화를 통한 노이즈 제거와 압축 감지 단계 전이 사이의 이론적 연결을 수립하는 것.
• 노이즈 제거에서의 정규화된 평균 제곱 오차(MSE)를 압축 감지 단계 전이 임계값 ∆f(x₀)와 동치로 특성화하는 것.
• 진짜 신호 x₀에서 구조 유도 함수 f의 초미분에 기반하여 ∆f(x₀)에 대한 명시적 공식을 유도하는 것.
• 압축된 노이즈 있는 관측치를 가진 일반화된 LASSO 문제로 결과를 확장하는 것.
• 노이즈 제거에서의 추정 오차가 압축 감지에서 정확한 복원을 위해 필요한 최소 측정 수와 정확히 일치함을 보여주는 것.

제안 방법

• 노이즈 제거 문제를 볼록 최적화 문제로 공식화: ½‖y−x‖²₂ + λf(x)를 최소화하며, 여기서 y = x₀ + z 이고 z는 i.i.d. 가우시안 노이즈이다.
• 구조 유도 함수 f로 ℓ¹ 노름(희박성에 적합), ℓ¹−ℓ² 노름(블록 희박성에 적합), 핵 노름(낮은 질량 행렬에 적합) 등을 사용한다.
• 최적 추정기의 정규화된 MSE를 유도하고, 이가 압축 감지 단계 전이 임계값 ∆f(x₀)와 정확히 일치함을 보여준다.
• f의 x₀에서의 초미분을 통해 ∆f(x₀)를 명시적으로 표현하여, f의 기하적 성질과 통계적 추정 성능를 연결한다.
• m개의 노이즈 있는 압축 관측치 y = Ax₀ + z를 가진 일반화된 LASSO 문제를 분석하고, ‖y−Ax‖²₂를 최소화하면서 f(x) ≤ f(x₀)를 만족하는 문제를 해결한다.
• 이 설정에서 추정 오차가 노이즈 제거 사례와 동일한 단계 전이 행동을 유도함을 수립한다.

실험 결과

연구 질문

• RQ1 볼록 노이즈 제거에서의 정규화된 평균 제곱 오차(MSE)가 압축 감지 단계 전이 임계값으로 정확히 특성화될 수 있는가?
• RQ2 구조 유도 함수 f의 x₀에서의 초미분에 기반하여 임계값 ∆f(x₀)에 대한 명시적 공식은 무엇인가?
• RQ3 일반화된 LASSO 추정기의 성능은 압축 감지의 단계 전이 행동과 어떻게 관련이 있는가?
• RQ4 노이즈 제거 문제는 정확한 복원을 위해 필요한 최소 측정 수의 요구 조건을 어느 정도 반영하는가?
• RQ5 최적의 정규화 매개수 λ 조정이 노이즈 제거 설정에서 渐近적 정확한 복원을 이끌어내는 데 어떤 조건을 필요로 하는가?

주요 결과

• 최적 조정된 볼록 노이즈 제거 추정기의 정규화된 평균 제곱 오차(MSE)가 정확히 압축 감지 단계 전이 임계값 ∆f(x₀)와 일치한다.
• 임계값 ∆f(x₀)는 진짜 신호 x₀에서 구조 유도 함수 f의 초미분에 의해 명시적으로 결정된다.
• 희박한 신호의 경우, ∆f(x₀)는 ℓ¹ 노름의 x₀에서의 초미분과 대응하여 추정 오차를 희박성 구조와 연결한다.
• 블록 희박한 신호의 경우, ℓ¹−ℓ² 노름은 신호의 블록 구조를 반영하는 단계 전이 임계값을 유도한다.
• 낮은 질량 행렬의 경우, 핵 노름은 정확한 복원을 위해 필요한 최소 측정 수를 결정하는 임계값 ∆f(x₀)를 유도한다.
• 일반화된 LASSO 문제에서는 동일한 단계 전이 행동을 상속하여, 압축 감지 복원 한계가 노이즈 있는 압축 관측치에서의 추정 오차를 지배함을 보여준다.