[논문 리뷰] Deep Convolutional Sparse Coding Networks for Image Fusion

Shuang Xu, Zixiang Zhao외 4명|arXiv (Cornell University)|2020. 05. 18.

Advanced Image Fusion Techniques참고 문헌 43인용 수 7

한 줄 요약

이 논문은 반복적 수축-임계처리 알고리즘(ISTA)을 학습 가능한 사전 컨volution 단위(DCU)로 전개하여 적외선-가시광선, 다중 노출, 다중 모odal 영상 융합을 위한 세 가지 딥 컨volution 스퍼스 코딩(CSC) 네트워크를 제안한다. 이 방법은 데이터로부터 모든 하이퍼파rameter(예: 페널티, 임계값, 필터)를 학습하여 다양한 데이터셋에서 정량적 지표와 시각적 품질 모두에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Image fusion is a significant problem in many fields including digital photography, computational imaging and remote sensing, to name but a few. Recently, deep learning has emerged as an important tool for image fusion. This paper presents three deep convolutional sparse coding (CSC) networks for three kinds of image fusion tasks (i.e., infrared and visible image fusion, multi-exposure image fusion, and multi-modal image fusion). The CSC model and the iterative shrinkage and thresholding algorithm are generalized into dictionary convolution units. As a result, all hyper-parameters are learned from data. Our extensive experiments and comprehensive comparisons reveal the superiority of the proposed networks with regard to quantitative evaluation and visual inspection.

연구 동기 및 목표

• 수작업으로 설정된 하이퍼파rameter에 의존하고 일반화 능력이 떨어지는 전통적 영상 융합 방법의 한계를 해결하기 위해.
• 모든 하이퍼파rameter(예: 정규화, 임계값, 필터)를 데이터로부터 직접 학습하여 융합 성능을 향상시키기 위해.
• 다양한 영상 융합 작업을 위한 통합적이고 해석 가능하며 재현 가능한 딥 러닝 프레임워크를 개발하기 위해.
• 특정 이미지에만 최적화된 기존 방법의 낮은 일반화 능력을 극복하기 위해.
• 반복적 수축-임계처리 알고리즘(ISTA)을 미분 가능한 신경망 레이어 단위로 통합하여 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 컨volution 스퍼스 코딩(CSC) 모델과 ISTA 알고리즘을 학습 가능한 '사전 컨볼루션 유닛(DCU)'으로 불리는 미분 가능한 레이어로 일반화한다.
• ISTA의 고정된 하이퍼파rameter를 학습 가능한 구성요소로 대체: 컨볼루션 필터, 페널티 파라미터, 임계처리 함수.
• ISTA의 전방 및 전치 컨볼루션 연산을 나타내기 위해 두 개의 컨볼루션 레이어를 사용하며, 배치 정규화와 학습 가능한 활성화 함수를 적용한다.
• 사용된 정규화 방법에 따라 소프트 수축 임계처리(SST) 또는 다른 활성화 함수(예: ReLU, PReLU)를 사용한다.
• 다양한 융합 작업에 맞게 세부적으로 조정된 깊은 네트워크를 구성하기 위해 다수의 DCU를 스택한다: 적외선-가시광선, 다중 노출, 다중 모달 영상 융합.
• 각 작업에 맞는 손실 함수(시각적 손실 및 재구성 손실 포함)를 사용하여 표준 최적화(Adam)로 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 컨volution 스퍼스 코딩을 위한 반복적 수축-임계처리 알고리즘(ISTA)이 학습 가능한 신경망 레이어로 효과적으로 전개될 수 있는가?
• RQ2 모든 하이퍼파rameter(예: 페널티, 임계값, 필터)를 데이터로부터 학습함으로써 다양한 영상 융합 작업에서 융합 성능이 향상되는가?
• RQ3 제안된 딥 CSC 네트워크는 정량적 지표와 시각적 품질 측면에서 최신 기술(SOTA) 방법과 비교해 어떻게 성능을 냅니다?
• RQ4 제안된 방법은 특정 이미지에만 최적화된 것이 아니라, 다수의 대규모 다양성 있는 데이터셋에서도 잘 일반화되는가?
• RQ5 제안된 프레임워크는 다양한 영상 융합 시나리오에서 재현 가능하고 강건한가?

주요 결과

• 제안된 딥 CSC 네트워크는 적외선-가시광선, 다중 노출, 다중 모달 융합의 세 가지 영상 융합 작업 모두에서 최고의 성능을 달성한다.
• 다중 노출 융합 벤치마크에서 MEON 8.1776, Brisque 18.2694, Niqe 2.3980, Piqe 27.8342를 기록하여 비교된 모든 방법 중 최고 성능이다.
• Cave 데이터셋에서의 다중 모달 융합 작업에서 PSNR 46.2319, SSIM 0.9900을 달성하여 두 번째로 우수한 방법(GLPHS)의 39.4215와 0.9706을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 시각적 검토 결과, 제안된 방법은 균형 잡힌 대비, 감소된 홀로 효과, 그리고 더 나은 미세 디테일과 텍스처 보존을 갖춘 융합 영상을 생성한다.
• 보조 실험을 통해 일관된 성능을 보이며 높은 재현 가능성을 입증하였다. 여러 런과 데이터셋에서 동일한 성능 수준을 유지한다.
• 오차 맵 분석 결과, CNMF 및 PFCN과 같은 SOTA 방법 대비 제안된 방법이 가장자리 및 텍스처가 풍부한 영역에서 재구성 오차를 최소화함을 확인하였다.