[논문 리뷰] Multi-focus Noisy Image Fusion using Low-Rank Representation

Hui Li, Xiao‐Jun Wu외 1명|arXiv (Cornell University)|2018. 04. 25.

Advanced Image Fusion Techniques참고 문헌 27인용 수 16

한 줄 요약

이 논문은 노이즈가 있는 소스 이미지를 다루기 위해 저질서 표현(Low-Rank Representation, LRR)을 사용하는 새로운 다중 집중점 이미지 융합 방법을 제안한다. 이 방법은 이산 웨이브렛 변환(DWT) 프레임워크에 LRR를 통합하여 저주파수 계수는 공간 주파수와 선택-최대 전략을 통해, 고주파수 계수는 LRR를 통해 융합하며, 특히 고노이즈 수준에서 최신 기술을 능가하는 성능을 달성한다.

ABSTRACT

Multi-focus noisy image fusion represents an important task in the field of image fusion which generates a single, clear and focused image from all source images. In this paper, we propose a novel multi-focus noisy image fusion method based on low-rank representation (LRR) which is a powerful tool in representation learning. A multi-scale transform framework is adopted in which source images are decomposed into low frequency and high frequency coefficients, respectively. For low frequency coefficients, the fused low frequency coefficients are determined by a spatial frequency strategy, while the high frequency coefficients are fused by the LRR-based fusion strategy. Finally, the fused image is reconstructed by inverse multi-scale transforms with fused coefficients. Experimental results demonstrate that the proposed algorithm offers state-of-the-art performance even when the source images contain noise. The Code of our fusion method is available at https://github.com/hli1221/imagefusion_noisy_lrr

연구 동기 및 목표

• 다중 집중점 노이즈 이미지를 위한 진정으로 적응적인 융합 방법의 부족을 해결하기 위해.
• 이미지 융합에서 저질서 표현(Low-Rank Representation, LRR)의 노이즈 내성 특성을 활용하기 위해.
• 소스 이미지에 가우시안, 소금과胡椒, 포아송 노이즈가 포함된 경우 융합 성능을 향상시키기 위해.
• 노이즈를 효과적으로 다루면서도 전반적인 이미지 구조를 유지하는 방법을 개발하기 위해.
• 노이즈 조건 하에서 기존의 표현 학습 및 비표현 학습 기반 융합 기술을 능가하기 위해.

제안 방법

• 이 방법은 이산 웨이브렛 변환(DWT)을 사용하여 소스 이미지를 저주파수 및 고주파수 서브밴드로 분해한다.
• 저주파수 계수는 공간 주파수와 선택-최대 전략을 통해 융합되어 구조적 내용을 유지한다.
• 고주파수 계수는 저질서 표현(Low-Rank Representation, LRR)을 통해 융합되며, 이는 전반적인 구조를 모델링하고 노이즈 및 이방성에 강건하다.
• LRR 최적화 문제는 비정확한 증가 라그랑주 승수(ALM) 방법을 통해 해결되며, 핵노름과 l2,1-노름을 최소화하여 낮은 질서 성분과 노이즈를 분리한다.
• 융합된 LRR 계수에 대해 선택-최대 전략을 적용하여 소스 이미지 간에 가장 두드러진 특징을 선별한다.
• 융합된 서브밴드 계수를 사용하여 역방향 DWT를 통해 최종 융합 이미지를 재구성한다.

실험 결과

연구 질문

• RQ1 저질서 표현(Low-Rank Representation, LRR)은 다중 집중점 이미지 융합에서 노이즈를 효과적으로 다룰 수 있는가?
• RQ2 다양한 노이즈 수준에서 LRR 기반 융합은 기존 방법(CNN, SR, DWT)과 비교해 어떻게 성능을 내는가?
• RQ3 소스 이미지가 노이즈에 오염되었을 때, 제안된 방법은 최신 기술보다 이미지 구조와 세부 정보를 더 잘 유지하는가?
• RQ4 다양한 노이즈 유형(Gaussian, 소금과胡椒, 포아송)에 대해 제안된 방법의 융합 성능은 일관되게 뛰어나게 나타나는가?
• RQ5 DWT와 LRR의 조합은 기존의 비표현 학습 기반 방법보다 더 높은 융합 품질을 달성할 수 있는가?

주요 결과

• 가우시안 노이즈 σ=0.001 조건에서 제안된 방법은 SSIM 0.87428과 PSNR 30.99987을 기록하여 모든 다른 방법보다 높은 성능을 달성한다.
• 고노이즈 수준(가우시안 노이즈 σ=0.01)에서 제안된 방법은 PSNR 24.92995와 SSIM 0.64582를 기록하며, CNN(PSNR: 20.59205, SSIM: 0.42838)과 DWT(PSNR: 18.41309, SSIM: 0.35154)를 크게 앞서며 성능을 뛰어나게 한다.
• 소금과胡椒 노이즈 d=0.02 조건에서 제안된 방법은 PSNR 25.10640과 SSIM 0.69728을 기록하며, 두 번째로 우수한 성능을 보인 MLVGG 방법보다 PSNR 1.0 dB 높고 SSIM 0.028 높다.
• 포아송 노이즈 조건에서 제안된 방법은 PSNR 29.28811과 SSIM 0.83724를 기록하며, 두 번째로 뛰어난 방법인 MLVGG보다 PSNR 0.5 dB 높고 SSIM 0.043 높다.
• 고노이즈 조건에서 일관된 우수성을 보이며, RMSE 및 SSIM 지표에서 가장 큰 성능 격차를 보이며 노이즈에 대한 강건성을 확인한다.
• 모든 노이즈 유형에서 뛰어난 성능을 유지하며, LRR가 이미지 융합에서 노이즈 영향을 효과적으로 완화함을 입증한다.