[논문 리뷰] Deep Convolutional Neural Network for Multi-modal Image Restoration and Fusion

Xin Deng, Pier Luigi Dragotti|arXiv (Cornell University)|2019. 10. 09.

Advanced Image Fusion Techniques참고 문헌 69인용 수 13

한 줄 요약

이 논문은 새로운 다중 모odal 컨volution스parse 코딩(MCSC) 모델에서 유도된 깊이 컨volution 신경망인 CU-Net을 제안한다. 이는 다중 모달 이미지 복원(MIR)과 융합(MIF)을 동시에 해결하기 위한 것이다. 유연한 컨볼루션스parse 코딩 블록을 통해 모달 간 공통 및 고유 특징을 명시적으로 분리함으로써, CU-Net은 다양한 작업(예: RGB 가이드된 깊이 초해상도 및 플래시 기반 노이즈 제거)에서 빠른 추론과 작은 모델 크기로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel deep convolutional neural network to solve the general multi-modal image restoration (MIR) and multi-modal image fusion (MIF) problems. Different from other methods based on deep learning, our network architecture is designed by drawing inspirations from a new proposed multi-modal convolutional sparse coding (MCSC) model. The key feature of the proposed network is that it can automatically split the common information shared among different modalities, from the unique information that belongs to each single modality, and is therefore denoted with CU-Net, i.e., Common and Unique information splitting network. Specifically, the CU-Net is composed of three modules, i.e., the unique feature extraction module (UFEM), common feature preservation module (CFPM), and image reconstruction module (IRM). The architecture of each module is derived from the corresponding part in the MCSC model, which consists of several learned convolutional sparse coding (LCSC) blocks. Extensive numerical results verify the effectiveness of our method on a variety of MIR and MIF tasks, including RGB guided depth image super-resolution, flash guided non-flash image denoising, multi-focus and multi-exposure image fusion.

연구 동기 및 목표

• 기존 딥러닝 방법이 다중 모달 이미지 처리에서 해석 불가능성과 모달 간 상호의존성의 명시적 모델링 부족 등의 한계를 해결하기 위해.
• 기존 스퍼스 코딩의 비효율성과 패치 수준의 모델링 문제를 해결하기 위해, 이미지 수준에서 다중 모달 컨볼루션스parse 코딩(MCSC) 모델을 개발하기 위해.
• 동일한 해석 가능한 아키텍처로 다중 모달 이미지 복원(MIR)과 다중 모달 이미지 융합(MIF) 작업을 동시에 해결할 수 있는 통합된 딥러닝 프레임워크를 설계하기 위해.
• MIR 및 MIF 작업에서 성능 향상과 일반화를 향상시키기 위해, 공통 특징(모두가 공유하는 특징)과 고유 특징(모달 전용 특징)을 자동으로 분리할 수 있도록 하기 위해.

제안 방법

• 각 모달을 공통 특징과 고유 특징을 위한 두 개의 컨볼루션 딕셔너리로 표현하는 새로운 다중 모달 컨볼루션스parse 코딩(MCSC) 모델을 제안하여, 이미지 수준에서 모달 간 상호의존성을 공동으로 모델링할 수 있도록 한다.
• MCSC 모델 기반으로 CU-Net 아키텍처를 설계하였으며, 이는 세 가지 모듈로 구성된다: 고유 특징 추출 모듈(UFEM), 공통 특징 유지 모듈(CFPM), 이미지 재구성 모듈(IRM), 각각 MCSC 모델의 대응 구성 요소에서 유도된다.
• 각 모듈은 스택된 학습 가능한 컨볼루션스parse 코딩(LCSC) 블록을 사용하여 구현하였으며, 필터(E 및 F)는 역전파를 통해 엔드 투 엔드로 학습되어, 기능 추출과 스퍼스 코딩을 미분 가능하게 동시에 수행할 수 있도록 한다.
• 스패티얼 세부 정보를 유지하고 모달 전용 및 공통 표현을 효과적으로 융합하기 위해, 스킵 연결을 갖춘 이중 스트림 인코더-디코더 구조를 구현하였다.
• 재구성 작업에는 L2 손실, 이미지 품질 향상을 위해 인지적 손실을 사용하며, Adam을 통한 적응형 최적화를 통해 네트워크를 엔드 투 엔드로 훈련시켰다.
• 모든 LCSC 블록에 잔차 학습 전략을 통합하여 학습 안정성과 수렴 성능을 향상시켰으며, 특징 영역에서 소프트 스 hrinkage 연산을 적용하였다.

실험 결과

연구 질문

• RQ1 구조적 다중 모달 스퍼스 코딩 모델에서 유도된 딥 네트워크 아키텍처가 순수 데이터 기반 접근 방식에 비해 다중 모달 이미지 복원 및 융합에서 더 높은 성능과 해석 가능성 달성할 수 있는가?
• RQ2 모달 간 공통 및 고유 특징의 명시적 분리가 다양한 MIR 및 MIF 작업에서 성능 향상에 어느 정도 기여하는가?
• RQ3 여러 벤치마크 작업에서 기존 최신 기술 수준의 방법들과 비교해 볼 때, 제안된 MCSC 기반 네트워크 아키텍처는 정확도, 속도, 모델 크기 측면에서 어떻게 비교되는가?
• RQ4 각 구성 요소(UFEM, CFPM, IRM)와 하이퍼파라미터(예: 필터 크기, 네트워크 깊이)가 CU-Net 프레임워크의 전체 성능에 기여하는 바는 무엇인가?

주요 결과

• CU-Net은 RGB 가이드된 깊이 초해상도, 플래시 기반 비플래시 이미지 노이즈 제거, 다중 초점/다중 노출 융합 등 여섯 가지 다양한 다중 모달 이미지 처리 작업에서 최신 기술 수준의 성능을 달성한다.
• RGB 가이드된 깊이 이미지 초해상도 작업에서, CU-Net은 모델 크기가 단지 231 KB임에도 불구하고 PSNR 45.12 dB, SSIM 0.9940을 기록하여 기존 방법들을 능가하며 더 빠른 추론 속도를 제공한다.
• 빠른 추론 속도를 보이며, GTX 1080 Ti GPU에서 1320×1080 해상도 이미지를 0.85초 내에 처리하고, 모든 작업에서 1초 이내의 추론 시간을 확보한다.
• 절단 실험 결과, 공통 및 고유 특징 분리 메커니즘과 LCSC 기반 모듈이 성능 향상에 필수적임을 확인하였으며, 필터 크기 및 깊이에 대한 절단 실험에서도 일관된 성능 향상이 관찰되었다.
• 모델의 깊이가 증가함에 따라 다양한 모달과 작업에 대해 일반화 능력이 뛰어나며, RMSE는 2.07에서 1.81로, PSNR는 43.88 dB에서 45.12 dB로 지속적인 향상이 이루어졌다.
• MCSC 모델에 기반한 아키텍처의 해석 가능성 덕분에, 순수한 경험적 CNN 설계와는 달리 특징 학습 동역학을 더 잘 이해할 수 있었다.