[논문 리뷰] Infrared and visible image fusion using Latent Low-Rank Representation

Hui Li, Xiao‐Jun Wu|arXiv (Cornell University)|2018. 04. 24.

Advanced Image Fusion Techniques참고 문헌 31인용 수 126

한 줄 요약

논문은 Latent Low-Rank Representation (LatLRR)을 기반으로 한 융합 방법을 제안하며, 적외선과 가시 이미지를 저랭크(전역) 및 현저한(로컬) 부분으로 분해하고 서로 다른 전략으로 융합한 뒤 융합 이미지를 재구성하여 여러 최첨단 방법들보다 성능이 향상됨을 보여준다.

ABSTRACT

Infrared and visible image fusion is an important problem in the field of image fusion which has been applied widely in many fields. To better preserve the useful information from source images, in this paper, we propose a novel image fusion method based on latent low-rank representation(LatLRR) which is simple and effective. Firstly, the source images are decomposed into low-rank parts(global structure) and salient parts(local structure) by LatLRR. Then, the low-rank parts are fused by weighted-average strategy to preserve more contour information. Then, the salient parts are simply fused by sum strategy which is a efficient operation in this fusion framework. Finally, the fused image is obtained by combining the fused low-rank part and the fused salient part. Compared with other fusion methods experimentally, the proposed method has better fusion performance than state-of-the-art fusion methods in both subjective and objective evaluation. The Code of our fusion method is available at https://github.com/hli1221/imagefusion\_Infrared\_visible\_latlrr

연구 동기 및 목표

• 적외선/가시 융합에서 전역 정보와 로컬 정보를 더 잘 보존하도록 유도한다.
• 소스 이미지를 LatLRR로 저랭크 부분과 현저한 부분으로 분해한다.
• 저랭크 부분은 가중 평균 방식으로 융합하고 현저한 부분은 합(sum) 전략으로 융합한다.
• 융합된 저랭크 부문과 현저한 부문으로부터 최종 융합 이미지를 재구성한다.
• 주관적 및 객관적 지표를 사용하여 여러 베이스라인과 방법을 비교 평가한다.

제안 방법

• 각 소스 이미지를 LatLRR를 이용해 저랭크 부분(전역 구조)과 현저한 부분(로컬 구조)으로 분해한다.
• 저랭크 부분은 가중 평균 방식으로 융합한다(가중치 = 0.5 및 0.5).
• 현저한 부분은 간단한 합 전략으로 융합한다(가중치 = 1 및 1).
• 융합된 저랭크 부분과 융합된 현저한 부분을 더해 최종 융합 이미지를 재구성한다.

실험 결과

연구 질문

• RQ1 LatLRR 기반 분해가 적외선/가시 융합에서 전역 구조와 로컬 구조를 모두 보존할 수 있는가?
• RQ2 저랭크 부분과 현저한 부분에 대해 서로 다른 융합 전략이 단일 전략 방법보다 융합 품질을 향상시키는가?
• RQ3 LatLRR 기반 융합 방법이 객관 지표와 시각 품질에서 최첨단 융합 방법들과 비교했을 때 어떤 성능을 보이는가?

주요 결과

• 제안된 LatLRR 기반 방법은 21개의 이미지 쌍에서 여러 베이스라인보다 더 나은 객관 지표(SCD, SSIM_a)와 더 낮은 아티팩트(N_abf)를 달성한다.
• 주관적으로 융합 결과가 더 뚜렷한 특징과 세부 정보를 더 많이 보존하고 비교 방법들에 비해 아티팩트가 작다.
• 정량적 결과는 제안된 방법이 시험된 방법들 중에서 최상의 SCD, SSIM_a, N_abf 값을 달성함을 보여준다.
• 이 방법은 구조와 밝기 정보를 보존하는 자연스러운 융합을 제공한다.