[논문 리뷰] A Symmetric Encoder-Decoder with Residual Block for Infrared and Visible Image Fusion

Lihua Jian, Xiaomin Yang외 4명|arXiv (Cornell University)|2019. 05. 27.

Advanced Image Fusion Techniques참고 문헌 40인용 수 12

한 줄 요약

이 논문은 중간 특징 추출, 주의 맵(attention maps), 보상 특징(compensation features)을 활용하여 세부 정보 보존과 융합 품질을 향상시키기 위해 임의의 인프라레드 및 가시광선 영상 융합을 위한 대칭형 인코더-디코더 네트워크인 SEDRFuse를 제안한다. 이 방법은 주관적 및 객관적 평가에서 최신 기술을 초월하는 성능을 달성하며, 융합 정확도와 속도 면에서 기존 방법들을 능가한다.

ABSTRACT

In computer vision and image processing tasks, image fusion has evolved into an attractive research field. However, recent existing image fusion methods are mostly built on pixel-level operations, which may produce unacceptable artifacts and are time-consuming. In this paper, a symmetric encoder-decoder with a residual block (SEDR) for infrared and visible image fusion is proposed. For the training stage, the SEDR network is trained with a new dataset to obtain a fixed feature extractor. For the fusion stage, first, the trained model is utilized to extract the intermediate features and compensation features of two source images. Then, extracted intermediate features are used to generate two attention maps, which are multiplied to the input features for refinement. In addition, the compensation features generated by the first two convolutional layers are merged and passed to the corresponding deconvolutional layers. At last, the refined features are fused for decoding to reconstruct the final fused image. Experimental results demonstrate that the proposed fusion method (named as SEDRFuse) outperforms the state-of-the-art fusion methods in terms of both subjective and objective evaluations.

연구 동기 및 목표

• 등록되지 않은 입력으로 인해 느리고 잡음이 발생하기 쉬운 픽셀 수준의 영상 융합 방법의 한계를 해결하기 위해.
• 인프라레드 및 가시광선 영상에서 중요한 구조적 및 질감적 세부 정보를 보존하면서 계산 비용을 줄이는 기능 수준의 융합 프레임워크를 개발하기 위해.
• 학습 안정성과 특징 표현 향상을 위해 대칭형 인코더-디코더 아키텍처와 잔차 블록을 설계하기 위해.
• 주의 맵과 보상 특징이 융합 출력을 개선하여 시각적 및 정량적 성능을 향상시키는 데 얼마나 효과적인지 탐색하기 위해.

제안 방법

• 자체 제작한 데이터셋에서 훈련된 대칭형 인코더-디코더 네트워크(잔차 블록 포함, SEDR)는 인프라레드 및 가시광선 영상의 고정된 특징 추출기로 기능한다.
• 인코더에서 추출한 중간 특징을 바탕으로 두 개의 주의 맵을 생성하고, 원소별 곱셈을 통해 입력 특징을 보정한다.
• 첫 번째 및 두 번째 합성곱 레이어에서 유도된 보상 특징을 병합하여 해당 디코어드 레이어로 전달함으로써 다운샘플링 과정에서의 세부 정보 손실을 완화한다.
• 융합된 중간 특징과 융합된 보상 특징을 별도로 디코딩하고 이를 통합하여 최종 융합 영상을 재구성한다.
• 입력과 출력 간의 차이를 최소화하는 손실 함수를 사용하여 특징 학습의 대표성과 안정성을 확보한다.
• 재훈련 없이도 다중 모odal 영상 융합 작업(예: 다중 초점, 의료 영상, 다중 노출)에 확장 가능하여 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 잔차 블록이 포함된 대칭형 인코더-디코더 아키텍처가 인프라레드 및 가시광선 영상에서 상보적인 특징을 효과적으로 추출하고 융합할 수 있는가?
• RQ2 중간 특징에서 유도된 주의 맵이 표준 융합 전략에 비해 융합 영상 품질을 어떻게 향상시키는가?
• RQ3 초기 합성곱 레이어에서 유도된 보상 특징이 융합 과정에서 다운샘플링 시 세부 정보 손실을 어느 정도 감소시키는가?
• RQ4 자체 제작한 인프라레드-가시광선 영상 쌍 데이터셋에서 훈련하는 것이 MSCOCO와 같은 일반 목적 데이터셋을 사용하는 것보다 더 나은 융합 성능을 낼 수 있는가?
• RQ5 제안된 SEDRFuse 프레임워크는 인프라레드-가시광선 융합을 넘어서 다른 다중 모달리티 영상 융합 작업에 일반화 가능한가?

주요 결과

• 제안된 SEDRFuse 방법은 TNO 및 FLIR 데이터셋에서 객관적 지표 면에서 최신 기술을 초월하며, TNO 데이터셋에서 SSIM 점수 0.7219, VIF 0.5511을 기록했다.
• 이 방법은 평균 1.635초의 융합 시간을 기록하여 CNN(86.069초) 및 FusionGAN(1.637초)에 비해 훨씬 빠르게 작동한다.
• FLIR 및 KAIST 데이터셋으로 구성된 자체 제작 데이터셋에서 훈련할 경우 MSCOCO를 사용한 경우보다 더 우수한 결과를 얻었으며, SSIM은 0.0305 포인트, VIF는 0.0680 포인트 향상되었다.
• 주의 맵과 보상 특징의 사용으로 다수의 데이터셋에서 시각적 비교를 통해 더 자연스럽고 세밀한 융합 영상이 생성됨을 확인했다.
• 다중 초점, 의료 영상(CT-MRI), 다중 노출 영상 등 다른 영상 융합 작업으로도 일반화가 잘 되었으며, 재훈련 없이도 시각적으로 일관되고 정보가 풍부한 융합 출력을 생성했다.