[논문 리뷰] Sparse + Low Rank Decomposition of Annihilating Filter-based Hankel Matrix for Impulse Noise Removal

Kyong Hwan Jin, Jong Chul Ye|arXiv (Cornell University)|2015. 10. 19.

Image and Signal Denoising Methods참고 문헌 55인용 수 8

한 줄 요약

이 논문은 청소화된 이미지를 앙히할레이팅 필터를 통해 저질서 행렬로 모델링하고, 인パulse 노이즈를 희소 성분으로 간주하여, ADMM를 사용한 LMaFit 초기화를 통한 희소 + 저질서 분해를 통해 새로운 인파ulse 노이즈 제거 방법인 Robust ALOHA를 제안한다. 이는 소금과胡미리 노이즈 및 무작위 값 인파ulse 노이즈가 있는 단일 및 다중 채널 이미지에서 기존 방법보다 최대 8 dB 높은 PSNR를 달성한다.

ABSTRACT

Recently, so called annihilating filer-based low rank Hankel matrix (ALOHA) approach was proposed as a powerful image inpainting method. Based on the observation that smoothness or textures within an image patch corresponds to sparse spectral components in the frequency domain, ALOHA exploits the existence of annihilating filters and the associated rank-deficient Hankel matrices in the image domain to estimate the missing pixels. By extending this idea, here we propose a novel impulse noise removal algorithm using sparse + low rank decomposition of an annihilating filter-based Hankel matrix. The new approach, what we call the robust ALOHA, is motivated by the observation that an image corrupted with impulse noises has intact pixels; so the impulse noises can be modeled as sparse components, whereas the underlying image can be still modeled using a low-rank Hankel structured matrix. To solve the sparse + low rank decomposition problem, we propose an alternating direction method of multiplier (ADMM) method with initial factorized matrices coming from low rank matrix fitting (LMaFit) algorithm. To adapt the local image statistics that have distinct spectral distributions, the robust ALOHA is applied patch by patch. Experimental results from two types of impulse noises - random valued impulse noises and salt/pepper noises - for both single channel and multi-channel color images demonstrate that the robust ALOHA outperforms the existing algorithms up to 8dB in terms of the peak signal to noise ratio (PSNR).

연구 동기 및 목표

• 기존의 인파ulse 노이즈 제거 방법의 한계, 특히 높은 노이즈 밀도에서의 성능 저하와 총 제곱오차 정규화에 의한 에지 블러링 문제를 해결하기 위해.
• 이미지 패치의 내재된 스펙트럼 희소성에 주목하여, 청소화된 이미지 콘텐츠를 앙히할레이팅 필터를 통한 저질서 헨켈 행렬로 모델링하기 위해.
• 인파ulse 노이즈 제거 문제를 희소 + 저질서 행렬 분해 문제로 재구성하여, 노이즈는 희소 성분으로, 기반 이미지는 저질서 구조로 모델링하기 위해.
• SVD를 포함하지 않는 ADMM 기반의 효율적인 알고리즘을 개발하고, LMaFit 초기화를 통해 빠르고 정확한 복원을 실현하기 위해.
• 추가적인 부가 자료 없이도 단일 및 다중 채널 이미지에서 소금과胡미리 노이즈 및 무작위 값 인파ulse 노이즈에 대해 효과적으로 작동함을 입증하기 위해.

제안 방법

• 이 방법은 이미지 패치를 앙히할레이팅 필터를 사용하여 헨켈 행렬로 구성하여, 매끄럽거나 무늬가 있는 영역의 스펙트럼 희소성을 활용해 저질서 구조를 유도한다.
• 이 방법은 청소화된 구성 요소가 저질서이고 노이즈가 희소 성분임을 전제로 하여, 헨켈 행렬의 희소 + 저질서 분해 문제로 인파ulse 노이즈 제거 문제를 설정한다.
• 분해 문제를 해결하기 위해 ADMM 기반 최적화 프레임워크를 사용하며, SVD를 피하기 위해 행렬 분해 근사 기반의 핵심 노름 최소화를 적용한다.
• 수렴 속도 향상과 복원 정확도 향상을 위해 LMaFit 알고리즘을 사용해 초기화를 수행한다.
• 지역 이미지 통계에 적응하기 위해 패치 단위로 적용되어 에지와 무늬 보존을 보장한다.
• 색상 이미지의 경우, 개별 채널의 헨켈 행렬을 연결하고 함께 저질서 구조를 강제 적용한다.

실험 결과

연구 질문

• RQ1 이미지 패치의 스펙트럼 희소성을 활용하여, 청소화된 이미지 콘텐츠를 효과적으로 모델링할 수 있는 저질서 헨켈 행렬을 구성할 수 있는가?
• RQ2 헨켈 행렬 영역에서 인파ulse 노이즈를 희소 성분으로 모델링하면, 총 제곱오차나 RPCA 기반 방법보다 뛰어난 노이즈 제거 성능을 달성할 수 있는가?
• RQ3 SVD를 포함하지 않는 최적화를 사용한 패치 단위의 희소 + 저질서 분해는 높은 PSNR를 유지하면서 미세 무늬와 에지를 잘 보존할 수 있는가?
• RQ4 특히 30% 이상의 높은 인파ulse 노이즈 밀도에서 Robust ALOHA 방법은 어떻게 성능을 발휘하는가?
• RQ5 추가적인 부가 자료(예: 유사 패치 또는 다중 프레임) 없이도 다중 채널 색상 이미지로 효과적으로 확장할 수 있는가?

주요 결과

• Robust ALOHA는 소금과胡미리 노이즈 및 무작위 값 인파ulse 노이즈 모두에서 기존 최첨단 방법보다 최대 8 dB 높은 PSNR를 달성한다.
• 이 방법은 TVL1 및 RPCA 기반 접근법보다 뚜렷이 뛰어나며, 특히 에지와 무늬 보존 측면에서 총 제곱오차 방법에서 흔히 발생하는 블러링 문제를 피한다.
• 이론적 샘플링 경계(Chen와 Chi, 2016)에 기반하여, 노이즈 밀도가 40%에 이르는 상황에서도 높은 성능 유지를 유지한다.
• SVD를 포함하지 않는 ADMM 구현과 LMaFit 초기화는 계산 효율성과 빠른 수렴을 보장한다.
• 이 방법은 노이즈 유형과 크기에 대해 강건하며, 채널 헨켈 행렬을 연결함으로써 직접적으로 색상 이미지에 적용할 수 있다.
• 유사 패치나 다중 프레임 등의 추가 부가 자료가 필요 없기 때문에, 패치 그룹 기반 저질서 방법보다 더 유연하고 광범위하게 적용 가능한 점이 특징이다.