[논문 리뷰] L0TV: A Sparse Optimization Method for Impulse Noise Image Restoration

Ganzhao Yuan, Bernard Ghanem|arXiv (Cornell University)|2018. 02. 27.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 7

한 줄 요약

이 논문은 ℓ₀-노름 데이터 적합성과 총변동성 정규화를 사용한 임펄스 노이즈 이미지 복원을 위한 희소 최적화 방법 ℓ₀TV-PADMM를 제안한다. 비볼록 문제를 이중볼록한 MPEC로 재구성하고, 보조 최적화 기반 ADMM를 통해 해결함으로써, AOP 및 PDA와 같은 최신 기법들보다 뛰어난 복원 성능을 달성하며, 특히 가장자리 보존과 손상된 픽셀 복구에 뛰어난 성능을 보인다.

ABSTRACT

Total Variation (TV) is an effective and popular prior model in the field of regularization-based image processing. This paper focuses on total variation for removing impulse noise in image restoration. This type of noise frequently arises in data acquisition and transmission due to many reasons, e.g. a faulty sensor or analog-to-digital converter errors. Removing this noise is an important task in image restoration. State-of-the-art methods such as Adaptive Outlier Pursuit(AOP) \cite{yan2013restoration}, which is based on TV with $\ell_{02}$-norm data fidelity, only give sub-optimal performance. In this paper, we propose a new sparse optimization method, called $\ell_0TV$-PADMM, which solves the TV-based restoration problem with $\ell_0$-norm data fidelity. To effectively deal with the resulting non-convex non-smooth optimization problem, we first reformulate it as an equivalent biconvex Mathematical Program with Equilibrium Constraints (MPEC), and then solve it using a proximal Alternating Direction Method of Multipliers (PADMM). Our $\ell_0TV$-PADMM method finds a desirable solution to the original $\ell_0$-norm optimization problem and is proven to be convergent under mild conditions. We apply $\ell_0TV$-PADMM to the problems of image denoising and deblurring in the presence of impulse noise. Our extensive experiments demonstrate that $\ell_0TV$-PADMM outperforms state-of-the-art image restoration methods.

연구 동기 및 목표

• 임펄스 노이즈 처리에 있어 ℓ₂ 또는 ℓ₁ 데이터 적합성을 사용하는 기존 TV 기반 방법의 한계를 해결하기 위해.
• 임펄스 노이즈를 희소 이상치로 더 잘 모델링하는 더 효과적인 이미지 복원 프레임워크를 개발하기 위해.
• 비볼록이고 비연속적인 ℓ₀-TV 최적화 문제를 효율적이고 신뢰성 있게 해결하기 위해.
• 이웃 정보를 활용하여 손상된 픽셀을 정확히 식별하고 수정함으로써 복원 품질을 향상시키기 위해.

제안 방법

• 비볼록성을 다루기 위해 ℓ₀-TV 최적화 문제를 수학적 프로그래밍 문제(MPEC)로 재구성한다.
• 등가의 MPEC 문제를 해결하기 위해 보조 최적화 기반 분할 증분 다중승수 방법(PADMM)을 적용한다.
• 희소 오차 벡터를 모델링하기 위해 보조 변수를 도입하여 효율적인 번갈아 최소화를 가능하게 한다.
• 복원된 이미지의 가장자리와 조각별로 평탄한 성질을 유지하기 위해 총변동성 정규화를 통합한다.
• ADMM 하위 문제의 안정성과 온건한 조건 하에서 수렴 보장을 위해 보조 항을 활용한다.
• 채널 별 ℓ₀-TV 최소화와 ℓ₁-노름 집계를 통해 색상 이미지로의 확장을 수행한다.

실험 결과

연구 질문

• RQ1 이미지 복원에서 ℓ₂ 또는 ℓ₁ 기반 모델에 비해 ℓ₀-노름 데이터 적합성이 임펄스 노이즈 제거에 개선된 성능을 보일 수 있는가?
• RQ2 비볼록이고 비연속적인 ℓ₀-TV 문제는 수렴 보장이 있는 방식으로 효과적으로 해결될 수 있는가?
• RQ3 제안된 PADMM 기반 솔버는 복원 품질 측면에서 기존의 페널티 분해 및 AOP 방법보다 뛰어나게 성능을 내는가?
• RQ4 노이즈 마스크에 대한 사전 지식 없이도 메서드가 손상된 픽셀을 정확히 식별할 수 있는가?
• RQ5 임펄스 노이즈 하에서 이미지 노이즈 제거 및 블러 복원 작업 모두에서 메서드의 성능은 어떠한가?

주요 결과

• ℓ₀TV-PADMM는 AOP 및 PDA와 같은 최신 기법들보다 벤치마크 이미지에서 더 높은 피크 신호 대 노이즈비(Peak Signal-to-Noise Ratio, PSNR)와 구조적 유사도(Structural Similarity, SSIM)를 달성한다.
• 스크래치 기반 노이즈 제거에서 ℓ₀TV-PADMM는 보완 잔차 지apap에서 더 많은 흰 영역을 생성하여 손상된 픽셀을 더 잘 식별하고 있음을 시사한다.
• 메서드는 회색조 및 색상 이미지 모두에서 강건성을 보이며, 색상 확장은 채널 별 ℓ₀-TV 최소화와 ℓ₁-정규화를 사용한다.
• 실행 시간이 경쟁 가능하다: 50% 랜덤 값 임펄스 노이즈가 있는 'cameraman' 이미지에서 14±4초로, AOP(30±5 s)를 능가하고 ℓ₁TV-SBM와 같은 효율적인 솔버와 유사한 성능을 보인다.
• 보조 ADMM 솔버는 신뢰성 있게 수렴하며, 이전 연구에서 사용된 페널티 분해 알고리즘보다 더 효과적이다.
• 특히 고노이즈 상황에서 ℓ₂ 기반 또는 ℓ₁ 기반 대안들보다 더 나은 세부 정보와 가장자리 보존 성능을 보인다.