[논문 리뷰] Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion

Danfeng Hong, Jing Yao외 3명|arXiv (Cornell University)|2022. 05. 07.

Advanced Image Fusion Techniques인용 수 8

한 줄 요약

이 논문은 하이퍼스pek트럴 이미지 초해상도를 위한 자기지도 학습 프레임워크인 DC-Net을 제안한다. 이는 하위픽셀 수준에서 고해상도 다중스펙트럴 이미지와 저해상도 하이퍼스펙트럴 이미지를 분리하고 융합한다. 분리에 대해 생성적 적대적 네트워크를 통합하고, 융합에 대해 모델 가이드된 결합 스펙트럼 분해 네트워크를 적용하며, 물질 일관성을 강제하는 자기지도 학습 모듈을 도입함으로써, 시뮬레이션 및 실제 데이터 모두에서 최신 기술 수준의 성능을 달성하며 공간적 세부 정보와 스펙트럼 정확도를 향상시킨다.

ABSTRACT

Enormous efforts have been recently made to super-resolve hyperspectral (HS) images with the aid of high spatial resolution multispectral (MS) images. Most prior works usually perform the fusion task by means of multifarious pixel-level priors. Yet the intrinsic effects of a large distribution gap between HS-MS data due to differences in the spatial and spectral resolution are less investigated. The gap might be caused by unknown sensor-specific properties or highly-mixed spectral information within one pixel (due to low spatial resolution). To this end, we propose a subpixel-level HS super-resolution framework by devising a novel decoupled-and-coupled network, called DC-Net, to progressively fuse HS-MS information from the pixel- to subpixel-level, from the image- to feature-level. As the name suggests, DC-Net first decouples the input into common (or cross-sensor) and sensor-specific components to eliminate the gap between HS-MS images before further fusion, and then fully blends them by a model-guided coupled spectral unmixing (CSU) net. More significantly, we append a self-supervised learning module behind the CSU net by guaranteeing the material consistency to enhance the detailed appearances of the restored HS product. Extensive experimental results show the superiority of our method both visually and quantitatively and achieve a significant improvement in comparison with the state-of-the-arts. Furthermore, the codes and datasets will be available at https://sites.google.com/view/danfeng-hong for the sake of reproducibility.

연구 동기 및 목표

• 센서 고유 특성과 스펙트럼 혼합으로 인해 발생하는 하이퍼스펙트럴(HS)과 다중스펙트럴(MS) 이미지 간의 큰 분포 갭을 해결하기 위해.
• 기존 픽셀 수준 융합 방법이 하위픽셀 수준의 관계와 혼합 픽셀을 모델링하지 못하는 한계를 극복하기 위해.
• 스펙트럼 분해의 물리적 사전 지식과 자기지도 학습을 통합하여 고해상도 하이퍼스펙트럴(HrHS) 이미지 재구성의 정밀도를 향상시키기 위해.
• 이미지 수준에서 특징 수준으로, 픽셀 수준에서 하위픽셀 수준으로 진행되는 점진적 융합 프레임워크를 개발하기 위해.
• 통합된 엔드 투 엔드 아키텍처를 통해 다양한 시나리오에서의 강인성과 일반화 능력을 확보하고 재현 가능한 결과를 도출하기 위해.

제안 방법

• 생성적 적대적 네트워크(GANs)를 사용한 분리 서브넷(D-Net)을 설계하여 HS 및 MS 입력을 공통(다중 센서) 성분과 센서 고유 성분으로 분리함으로써 모odal 갭을 감소시킨다.
• 하위픽셀 수준 혼합을 모델링하기 위해 픽셀을 순수 엔드멤버와 비율로 분해하는 방식으로 작동하는 결합 스펙트럼 분해(CSU) 네트워크(C-Net)를 구현하여 융합을 효율적으로 수행한다.
• 재구성된 이미지와 진짜 이미지의 비율 맵 간의 물질 일관성을 강제하는 자기지도 학습 모듈(S-Net)을 도입하여 질감과 기하학적 구조를 향상시킨다.
• 스펙트럼 분해 과정의 안정성을 향상시키기 위해 비음성 제약(ANC)과 비율 합이 1이 되는 제약(ASC)이라는 두 가지 물리적 제약 조건을 적용한다.
• 재구성 손실, 지각 손실, 자기지도 일관성 손실을 조합한 손실 함수를 사용하여 전체 DC-Net 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 이미지 수준에서 D-Net을 통해 HS-MS 데이터를 정렬하고, 하위픽셀 수준에서 C-Net을 통해 특징을 융합하며, 마지막으로 S-Net을 통해 출력을 정밀하게 보정하는 점진적 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 분리-결합 네트워크 아키텍처가 센서 고유 특성과 스펙트럼 혼합 효과로 인한 HS와 MS 이미지 간의 분포 갭을 효과적으로 줄일 수 있는가?
• RQ2 결합 스펙트럼 분해를 통한 하위픽셀 수준 융합이 픽셀 수준 융합에 비해 하이퍼스펙트럴 초해상도의 품질을 얼마나 향상시키는가?
• RQ3 물질 일관성 기반 자기지도 학습이 재구성된 HrHS 이미지의 현실성과 구조적 세부 정보를 어떻게 향상시키는가?
• RQ4 물리적 제약 조건(ANC 및 ASC)이 스펙트럼 분해 기반 융합 과정의 강인성과 정확도를 향상시키는 데 기여하는 정도는 어떠한가?
• RQ5 제안된 DC-Net이 시뮬레이션 및 실제 위성 데이터를 포함한 다양한 실제 환경의 시나리오와 데이터셋에서 잘 일반화되는가?

주요 결과

• D-Net 없이 기준 C-Net을 사용한 것과 비교해 DC-Net은 약 1.5 dB의 PSNR 향상과 2° 이상의 SAM 감소를 달성하여 분리 모듈의 효과를 입증한다.
• C-Net에서 ANC 및 ASC 제약 조건을 함께 사용할 경우, 제약 없이 사용한 경우에 비해 PSNR는 4 dB 이상 향상되고 SAM 값은 절반으로 감소한다.
• 자기지도 학습 모듈(S-Net)은 성능 저하를 극복하고 질감과 구조적 세부 정보를 크게 향상시켜 재구성 품질을 추가로 향상시킨다.
• CAVE 데이터셋에서 DC-Net-S는 평균 PSNR 31.2 dB, SAM 1.5°를 기록하여 S3Net, U-Net, U-Net-CA와 같은 최신 기술 수준의 방법들을 능가한다.
• WorldView-3 및 Hyperion 데이터를 사용한 실제 실험에서는 DC-Net-S가 LrHS에 더 가까운 색상과 밝기, HrMS와 더 나은 구조 일관성을 가지며 더 높은 시각적 정밀도를 보이는 HrHS 결과를 생성한다.
• 모델은 계산적으로 효율적이며, 파라미터 크기가 3.43 MB 뿐이고 GTX 1080Ti GPU에서 평균 101분의 추론 시간을 가지며 실용적인 응용에 적합하다.