[논문 리뷰] HSR-Diff:Hyperspectral Image Super-Resolution via Conditional Diffusion Models

Chanyue Wu, Dong Wang외 2명|arXiv (Cornell University)|2023. 06. 21.

Image and Signal Denoising Methods인용 수 6

한 줄 요약

HSR-Diff는 조건부 확산 모델을 제안하여 고분광 영상 초해상도를 구현하며, 조건부 확산 모델링을 통해 저해상도 고분광 영상(LR-HSI)과 고해상도 다중스펙트럼 영상(HR-MSI) 특징을 기반으로 반복적인 노이즈 제거를 수행함으로써 고해상도 HSI를 생성한다. 이는 조건부 노이즈 제거 트랜스포머(CDFormer)를 활용한다. 네 개의 공개 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 점진적 학습과 자기주의 기반의 전역 모델링을 통해 뛰어난 재구성 품질과 세부 사항 보존 성능을 입증한다.

ABSTRACT

Despite the proven significance of hyperspectral images (HSIs) in performing various computer vision tasks, its potential is adversely affected by the low-resolution (LR) property in the spatial domain, resulting from multiple physical factors. Inspired by recent advancements in deep generative models, we propose an HSI Super-resolution (SR) approach with Conditional Diffusion Models (HSR-Diff) that merges a high-resolution (HR) multispectral image (MSI) with the corresponding LR-HSI. HSR-Diff generates an HR-HSI via repeated refinement, in which the HR-HSI is initialized with pure Gaussian noise and iteratively refined. At each iteration, the noise is removed with a Conditional Denoising Transformer (CDF ormer) that is trained on denoising at different noise levels, conditioned on the hierarchical feature maps of HR-MSI and LR-HSI. In addition, a progressive learning strategy is employed to exploit the global information of full-resolution images. Systematic experiments have been conducted on four public datasets, demonstrating that HSR-Diff outperforms state-of-the-art methods.

연구 동기 및 목표

• 고분광 영상에서 낮은 공간 해상도 문제를 해결함으로써 컴퓨터 비전 작업에서의 응용 가능성을 높이기 위해.
• 수작업으로 설계된 사전 지식에 의존하거나 스펙트럼 왜곡 및 최적화 불안정성 문제를 겪는 전통적 HSI 초해상도 방법의 한계를 극복하기 위해.
• 조건부 확산 모델이 HSI 초해상도에 어떻게 효과적으로 적용될 수 있는지 탐색하며, 고정밀도 영상 생성을 위한 반복적 노이즈 제거 기법을 활용하기 위해.
• 점진적 학습 전략과 계층적 특징 조건부 노이즈 제거 네트워크를 도입하여 HSI 초해상도에서의 전역 특징 모델링을 향상시키기 위해.

제안 방법

• HSR-Diff는 순수한 가우시안 노이즈로 고해상도 HSI를 초기화하고, 조건부 확산 모델링에 의해 이끌리는 노이즈 제거 과정을 반복적으로 수행함으로써 이를 정교화한다.
• 각 단계에서 노이즈를 제거하기 위해 조건부 노이즈 제거 트랜스포머(CDFormer)를 사용하며, 이는 고해상도 다중스펙트럼 영상(HR-MSI)과 저해상도 고분광 영상(LR-HSI)에서 추출된 계층적 특징 맵에 조건이 된다.
• CDFormer는 HR-MSI와 LR-HSI의 공간-스펙트럼 특징을 인코딩하기 위해 이중 스트림 아키텍처를 활용하며, 자기주의(Self-attention)를 통해 다중 모odal 특징 융합 및 장거리 의존성 모델링을 가능하게 한다.
• 점진적 학습 전략은 먼저 작은 영상 패치(예: 128² 또는 64²)에서 CDFormer를 학습시켜 학습 효율성을 확보한 후, 전체 해상도 영상에서 학습하여 전역 통계를 포착한다.
• 모델은 잘 정의된 손실 함수를 최소화하는 노이즈 제거 목표를 사용해 엔드 투 엔드로 훈련되며, GAN 기반 방법에서 흔히 발생하는 최적화 불안정성 문제를 피한다.
• 프레임워크는 네 개의 공개 데이터셋(CAVE, PaviaU, Chikusei, HypSen)에서 평가되며, PSNR, SSIM, SAM, ERGAS 등의 정량적 지표가 사용된다.

실험 결과

연구 질문

• RQ1 조건부 확산 모델이 고분광 영상 초해상도에 효과적으로 적용되어 고정밀도 고해상도 HSI를 생성할 수 있는가?
• RQ2 자기주의(Self-attention)를 활용한 조건부 노이즈 제거 트랜스포머(CDFormer)가 CNN 기반 아키텍처에 비해 전역 특징 모델링을 향상시키는가?
• RQ3 점진적 학습 전략이 장거리 공간-스펙트럼 의존성을 포착하는 노이즈 제거 네트워크의 성능을 어떻게 향상시키는가?
• RQ4 제안된 방법이 고해상도 HSI 레이블이 없는 실제 데이터셋(HypSen)에도 일반화 가능한가?

주요 결과

• CAVE 데이터셋에서 32× 확대 비율일 때, HSR-Diff는 PSNR 44.33, SSIM 0.9951, SAM 3.71, ERGAS 0.179를 기록하며 비교된 모든 방법보다 뛰어난 성능을 보였다.
• PaviaU 데이터셋에서 4× 확대 비율일 때, HSR-Diff는 PSNR 46.47, SSIM 0.9977, SAM 1.45, ERGAS 1.053을 기록하며 실제 데이터에서 뛰어난 성능을 입증했다.
• Chikusei 데이터셋에서 4× 확대 비율일 때, HSR-Diff는 PSNR 57.34와 ERGAS 0.324를 기록하여 뛰어난 재구성 정확도와 최소한의 왜곡을 보였다.
• 절단 실험 결과, 자기주의를 활용한 CDFormer가 U-Net 및 CNN 기반 변종보다 우수한 성능을 보이며, 주로 주의 메커니즘을 통한 전역 모델링의 효과를 입증했다.
• 점진적 학습 전략은 고정된 패치 학습 대비 CAVE에서 PSNR 1.16 dB, PaviaU에서 1.41 dB 향상시켜 전역 통계 포착에 있어 그 가치를 입증했다.
• 실제 데이터셋인 HypSen에서의 일반화 실험 결과, HSR-Diff는 합성 데이터에서 훈련된 후에도 뛰어난 시각적 품질과 풍부한 세부 정보를 갖춘 결과를 생성했다.