[논문 리뷰] Hyperspectral Image Super-Resolution with Spectral Mixup and Heterogeneous Datasets

Ke Li, Dengxin Dai외 2명|arXiv (Cornell University)|2021. 01. 19.

Advanced Image Fusion Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 저해상도 HSI 전용 데이터셋에서의 준지도 학습, RGB 이미지 초해상도 복원을 보조 과제로 활용하는 다중 과제 학습, 스펙트럼 믹스업 데이터 증강 기법을 결합한 새로운 고해상도 환경스펙트럼 이미지 초해상도 복원(HSI SR) 방법을 제안한다. RGB 및 HSI 데이터를 함께 학습하고, 스펙트럼 믹스업을 통해 가상의 훈련 샘플을 생성하며, 모델 간 일致성을 강제함으로써, 네 가지 기준 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 상당히 향상된 강인성과 일반화 능력을 확보하였다.

ABSTRACT

This work studies Hyperspectral image (HSI) super-resolution (SR). HSI SR is characterized by high-dimensional data and a limited amount of training examples. This exacerbates the undesirable behaviors of neural networks such as memorization and sensitivity to out-of-distribution samples. This work addresses these issues with three contributions. First, we observe that HSI SR and RGB image SR are correlated and develop a novel multi-tasking network to train them jointly so that the auxiliary task RGB image SR can provide additional supervision. Second, we propose a simple, yet effective data augmentation routine, termed Spectral Mixup, to construct effective virtual training samples to enlarge the training set. Finally, we extend the network to a semi-supervised setting so that it can learn from datasets containing only low-resolution HSIs. With these contributions, our method is able to learn from heterogeneous datasets and lift the requirement for having a large amount of HD HSI training samples. Extensive experiments on four standard datasets show that our method outperforms existing methods significantly and underpin the relevance of our contributions. Code has been made available at https://github.com/kli8996/HSISR.

연구 동기 및 목표

• 과도한 피팅과 분포 이탈로 인해 딥러닝 성능이 저하되는 제한된 고해상도(HR) 환경스펙트럼 이미지(HSI) 훈련 데이터 문제를 해결한다.
• 고해상도 RGB 이미지의 풍부함과 저해상도 HSI 데이터를 활용하여 순수한 HR HSI 수집자료를 초월한 훈련 데이터 확장을 도모한다.
• 보조 과제로 RGB 이미지 초해상도 복원을 도입한 다중 과제 학습 프레임워크를 통해 모델 일반화 능력을 향상시키고 기억화를 감소시킨다.
• 실제 데이터 추가가 필요 없이도 훈련 다양성과 강인성을 향상시키기 위해 HSI SR에 특화된 데이터 증강 전략을 개발한다.
• 기존에 학습된 RGB 초해상도 복원 모델과의 모델 간 일치성을 활용하여, 비라벨링된 저해상도 HSI 데이터셋을 활용한 준지도 학습으로 방법을 확장한다.

제안 방법

• HSI 초해상도 복원과 RGB 이미지 초해상도 복원을 동시에 학습하는 다중 과제 학습 프레임워크를 제안하며, 공유된 특징 표현을 통해 일반화 능력을 향상시킨다.
• 스펙트럼 믹스업을 도입하여, 동일한 HSI 내에서 스펙트럼 대역 간의 선형 조합을 통해 가상의 훈련 샘플을 생성함으로써 스펙트럼 차원에서의 선형성 행동을 촉진한다.
• 모델 간 일치성 기반 준지도 학습 전략을 적용한다: 동일한 저해상도 HSI에서 유도된 초해상도 RGB 이미지가 HSI SR 및 RGB SR 네트워크에서 일치해야 한다.
• 다양한 수의 스펙트럼 대역(예: RGB는 3개, HSI는 31~128개)을 효율적으로 처리할 수 있는 유니버설 그룹 컨volution 네트워크 아키텍처를 사용하여 두 과제의 훈련을 통합한다.
• 초해상도 HSI 출력물을 RGB로 변환하기 위해 표준 카메라 반응 함수를 적용하여, RGB SR 네트워크와의 일致성 손실 계산에 활용한다.
• 라벨이 부여된 HR HSI 데이터에 대한 감독 손실과 라벨이 없는 LR HSI 데이터에 대한 일치성 손실을 조합하여, 종합적으로 엔드 투 엔드로 모델을 훈련함으로써 이질적인 데이터셋을 효과적으로 활용한다.

실험 결과

연구 질문

• RQ1 도메인과 스펙트럼 대역의 차이가 존재하는 상황에서도 RGB 이미지 초해상도 복원을 보조 과제로 활용한 공동 훈련이 HSI 초해상도 복원 모델의 성능과 강인성 향상에 기여하는가?
• RQ2 스펙트럼 믹스업이 과도한 피팅을 줄이고, 새로운 샘플에 대한 일반화 능력을 향상시키는 데 있어 HSI SR에 대한 데이터 증강 전략으로서 얼마나 효과적인가?
• RQ3 기존에 학습된 RGB 초해상도 복원 모델과의 모델 간 일치성을 활용하여, 비라벨링된 저해상도 HSI 데이터를 활용한 준지도 학습이 HSI SR에 효과적으로 적용될 수 있는가?
• RQ4 제안된 세 가지 구성 요소인 다중 과제 학습, 스펙트럼 믹스업, 준지도 학습이 상호 보완적으로 HSI 초해상도 복원 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ5 HR HSI 데이터가 부족한 상황에서도, 다양한 스펙트럼 대역 수와 장면 콘텐츠를 가진 다양한 데이터셋에 대해 이 방법이 일반화되는가?

주요 결과

• 제안된 방법은 CAVE, Harvard, NTRIE, Chikusei 등 네 가지 표준 HSI SR 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, PSNR, SSIM, RMSE 등 모든 지표에서 기존 방법을 능가하였다.
• 제안된 세 가지 구성 요소 중 어느 것도 포함하지 않은 기본 모델(단지 그룹 컨volution 네트워크만 사용)이라도 상위 수준의 성능를 기록하였으며, 아키텍처 자체의 효과성을 입증하였다.
• 보조 과제로 RGB 이미지 초해상도 복원을 도입함으로써 HSI 초해상도 복원 성능이 크게 향상되었으며, 스펙트럼 믹스업과 준지도 학습을 병행할 경우 최고의 성능를 기록하였다.
• 스펙트럼 믹스업은 일관되게 모델 일반화 능력을 향상시키며, 과도한 피팅을 감소시키고 분포 외 샘플에 대한 강인성을 향상시켰다.
• 준지도 학습 구성 요소는 비라벨링된 저해상도 HSI 데이터를 효과적으로 활용할 수 있게 하였으며, 보조 과제와 병행할 경우 성능 향상이 더욱 두드러졌다.
• 완전히 감독 학습 설정(예: CAVE 및 Harvard ×4)에서, 이 방법은 PSNR 값이 42.1 이상, RMSE 값이 0.0125 이하를 기록하였으며, 기존 SOTA 방법인 MCNet 및 SSPSR를 뛰어넘었다.