[논문 리뷰] Multispectral and Hyperspectral Image Fusion by MS/HS Fusion Net

Qi Xie, Minghao Zhou외 4명|arXiv (Cornell University)|2019. 01. 10.

Advanced Image Fusion Techniques참고 문헌 51인용 수 19

한 줄 요약

이 논문은 고해상도 다중스펙트럼(HrMS) 및 저해상도 초스펙트럼(LrHS) 영상을 고해상도 초스펙트럼(HrHS) 영상으로 융합하기 위해 물리적 관측 모델과 저랭크 스펙트럼 사전정보를 학습 가능한 최적화 기반 네트워크에 통합한 딥러닝 프레임워크인 MS/HS Fusion Net을 제안한다. 반복적인 프락시멀 알고리즘을 학습 가능한 연산자를 갖춘 딥 리소지드 네트워크로 전개함으로써, 시뮬레이션 및 실세계 데이터 모두에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, PSNR, SAM, SSIM 지표에서 기존 방법들을 크게 능가하였다.

ABSTRACT

Hyperspectral imaging can help better understand the characteristics of different materials, compared with traditional image systems. However, only high-resolution multispectral (HrMS) and low-resolution hyperspectral (LrHS) images can generally be captured at video rate in practice. In this paper, we propose a model-based deep learning approach for merging an HrMS and LrHS images to generate a high-resolution hyperspectral (HrHS) image. In specific, we construct a novel MS/HS fusion model which takes the observation models of low-resolution images and the low-rankness knowledge along the spectral mode of HrHS image into consideration. Then we design an iterative algorithm to solve the model by exploiting the proximal gradient method. And then, by unfolding the designed algorithm, we construct a deep network, called MS/HS Fusion Net, with learning the proximal operators and model parameters by convolutional neural networks. Experimental results on simulated and real data substantiate the superiority of our method both visually and quantitatively as compared with state-of-the-art methods along this line of research.

연구 동기 및 목표

• 초스펙트럼 영상 융합 문제의 불안정성(ill-posed nature)을 물리적 관측 모델과 영상의 내재적 사전정보를 통합하여 해결하고자 한다.
• 스parseness나 총변동성(total variation)과 같은 주관적이고 고정된 사전정보에 의존하는 전통적 방법의 한계를 극복하고자 한다.
• 일반적인 네트워크를 변형하는 것이 아니라, MS/HS 융합에 특화된 해석 가능하고 구체적으로 설계된 딥러닝 모델을 개발하고자 한다.
• 데이터로부터 공간 및 스펙트럼 응답 연산자(R 및 C)를 엔드 투 엔드로 학습시켜 융합 정확도를 향상시키고자 한다.
• 시뮬레이션 및 실세계 데이터셋 모두에서 뛰어난 성능을 내며, 지표가 없는 과도한 실세계 데이터에 대해서도 우수한 성능을 보이도록 하고자 한다.

제안 방법

• 본 방법은 관측 모델 Y = XR + Ny 및 Z = CX + Nz를 통합한 최적화 문제로 MS/HS 융합을 수식화한다. 여기서 X는 목표 HrHS 영상이다.
• X의 스펙트럼 차원에 따라 저랭크성을 강제하여 영상의 내재적 스펙트럼 상관관계를 활용함으로써 스펙트럼 왜곡을 감소시킨다.
• 관측 모델과 저랭크 사전정보를 통합한 반복적 프락시멀 기반 최적화 문제를 해결하기 위해 알고리즘을 설계한다.
• 이 알고리즘은 프락시멀 연산자와 모델 파라미터를 합성곱층을 통해 학습하는 딥 리소지드 네트워크(MS/HS Fusion Net)로 전개된다.
• 네트워크는 쌍체의 HrMS 및 LrHS 패치와 해당 HrHS 타겟을 기반으로 엔드 투 엔드로 훈련되며, 공간-스펙트럼 복원 및 응답 연산자들을 동시에 학습할 수 있도록 한다.
• 이 네트워크 아키텍처는 영상 생성 과정의 기본 원리를 통합함으로써 물리적 일관성과 해석 가능성의 유지에 특별히 설계되었다.

실험 결과

연구 질문

• RQ1 일반적인 네트워크 아키텍처가 아닌 물리적 관측 모델을 통합한 딥러닝 모델이 MS/HS 융합에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 스펙트럼의 저랭크성 정보를 통합할 경우 융합 정확도는 어떻게 향상되고 스펙트럼 왜곡은 어떻게 감소하는가?
• RQ3 최적화 기반의 반복 알고리즘이 실세계 데이터에 잘 일반화되는 딥 네트워크로 효과적으로 전개될 수 있는가?
• RQ4 공간 및 스펙트럼 응답 연산자(R 및 C)가 데이터로부터 엔드 투 엔드로 얼마나 잘 학습될 수 있는가?
• RQ5 제안된 방법이 시뮬레이션 및 실세계 MS/HS 융합 시나리오에서 모두 최신 기술 수준의 방법들을 능가하는가?

주요 결과

• Chikusei 데이터셋에서 제안된 MHF-net은 PSNR 32.26 dB를 기록하여 두 번째로 우수한 성능을 낸 ResNet(29.35 dB)을 크게 앞서며 뚜렷한 우월성을 보였다.
• Chikusei에서 MHF-net은 SAM 3.02°를 기록하여 ResNet(3.69°)보다 유의미하게 낮아, 더 뛰어난 스펙트럼 유지성(Fidelity)을 입증하였다.
• 시각적 비교에서 MHF-net은 지표 영상에 가장 가까운 결과를 생성하였으며, 최소한의 스펙트럼 왜곡과 함께 세밀한 질감 및 구조적 세부 정보를 잘 유지하였다.
• 실세계 로마 콜로세움 데이터에서 MHF-net은 ResNet보다 더 뛰어난 시각적 품질을 보였으며, LrHS 영상과의 색상 및 밝기 일치도가 더 정확하였다.
• Chikusei에서 MHF-net은 최고 수준의 SSIM(0.890)과 FSIM(0.946)을 기록하여 구조적 및 인지적 품질 측면에서 뛰어난 성능을 보였다.
• 지표가 없는 실세계 데이터에 대해서도 네트워크는 강력한 일반화 능력을 보였으며, 경쟁 방법들보다 항상 뛰어난 시각적 품질을 유지하였다.