[논문 리뷰] Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution

Tingting Liu, Yuan Liu외 4명|arXiv (Cornell University)|2023. 04. 10.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

이 논문은 공간-스펙트럼 특징 학습을 향상시키기 위해 하이브리드 2D/3D 컨볼루션 유닛과 점진적 업샘플링, 동적 주파수 손실을 활용하는 이중 도메인 고분광 영상 초해상도 방법인 SRDNet을 제안한다. 공간 도메인과 주파수 도메인 최적화에 자가주의(self-attention)를 통합함으로써, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 질감 세부 정보와 인지적 품질을 크게 향상시킨다.

ABSTRACT

Since the number of incident energies is limited, it is difficult to directly acquire hyperspectral images (HSI) with high spatial resolution. Considering the high dimensionality and correlation of HSI, super-resolution (SR) of HSI remains a challenge in the absence of auxiliary high-resolution images. Furthermore, it is very important to extract the spatial features effectively and make full use of the spectral information. This paper proposes a novel HSI super-resolution algorithm, termed dual-domain network based on hybrid convolution (SRDNet). Specifically, a dual-domain network is designed to fully exploit the spatial-spectral and frequency information among the hyper-spectral data. To capture inter-spectral self-similarity, a self-attention learning mechanism (HSL) is devised in the spatial domain. Meanwhile the pyramid structure is applied to increase the acceptance field of attention, which further reinforces the feature representation ability of the network. Moreover, to further improve the perceptual quality of HSI, a frequency loss(HFL) is introduced to optimize the model in the frequency domain. The dynamic weighting mechanism drives the network to gradually refine the generated frequency and excessive smoothing caused by spatial loss. Finally, In order to better fully obtain the mapping relationship between high-resolution space and low-resolution space, a hybrid module of 2D and 3D units with progressive upsampling strategy is utilized in our method. Experiments on a widely used benchmark dataset illustrate that the proposed SRDNet method enhances the texture information of HSI and is superior to state-of-the-art methods.

연구 동기 및 목표

• 제한된 입사 에너지로 인해 고분광 영상(HSI)의 낮은 공간 해상도 문제를 해결하기 위해.
• HSI 내 공간-스펙트럼 상관관계와 상호 스펙트럼 자기유사성을 효과적으로 캡처함으로써 특징 표현을 향상시키기 위해.
• 주파수 도메인 최적화를 통합하여 재구성된 HSI의 인지적 품질을 향상시키기 위해.
• 점진적 업샘플링을 갖춘 하이브리드 2D/3D 컨볼루션 아키텍처를 통해 저해상도(LR)와 고해상도(HR) HSI 간의 강력한 매핑을 수립하기 위해.
• 보조 고해상도 데이터가 없는 기존 방법의 한계를 극복하고 스펙트럼 및 공간 정보를 보다 효과적으로 활용하기 위해.

제안 방법

• 고분광 데이터의 공간-스펙트럼 및 주파수 도메인 정보를 동시에 활용하기 위해 이중 도메인 네트워크를 설계하였다.
• 스펙트럼 간 자기유사성을 캡처하기 위해 공간 도메인에 자가주의 메커니즘(HSL)을 적용하였으며, 수용영역을 증가시키기 위해 피라미드 구조로 강화하였다.
• 모델을 주파수 도메인에서 최적화하기 위해 주파수 손실(HFL)을 도입하여 인지적 품질 향상과 과도한 스무딩 감소를 달성하였다.
• 공간 손실과 주파수 손실 간의 동적 가중치 기법을 통해 고주파 성분의 점진적 정밀 조정이 가능하게 하였다.
• 점진적 업샘플링 전략과 함께 2D 및 3D 컨볼루션 유닛을 융합한 하이브리드 모듈을 사용하여 LR에서 HR으로의 매핑을 더 잘 학습하였다.
• 재구성 정밀도 향상을 위해 L1 손실, 인지적 손실, 주파수 손실을 조합한 다중 손실 목적함수를 기반으로 엔드 투 엔드로 네트워크를 훈련시켰다.

실험 결과

연구 질문

• RQ1 보조 고해상도 데이터 없이 고분광 영상 초해상도에서 공간-스펙트럼 특징을 효과적으로 캡처할 수 있는 방법은 무엇인가?
• RQ2 주파수 도메인 최적화를 통합할 경우 초해상도 HSI의 인지적 품질 향상 정도는 어느 정도인가?
• RQ3 점진적 업샘플링을 갖춘 하이브리드 2D/3D 컨볼루션 아키텍처가 기존 2D 또는 3D 네트워크보다 HSI의 LR에서 HR로의 매핑을 더 잘 모델링할 수 있는가?
• RQ4 피라미드 구조를 갖춘 자가주의가 HSI 초해상도의 공간 도메인에서 특징 표현을 어떻게 향상시키는가?
• RQ5 공간 도메인과 주파수 도메인 간의 동적 손실 가중치가 재구성 정확도와 질감 보존에 미치는 영향은 무엇인가?

주요 결과

• SRDNet은 널리 사용되는 기준 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정량적 지표와 시각적 품질 모두에서 최신 기술을 능가하였다.
• 제안된 주파수 손실(HFL)은 고주파 성분을 유지하고 과도한 스무딩을 감소시켜 인지적 품질을 크게 향상시켰다.
• 피라미드 구조를 갖춘 자가주의의 통합은 장거리 스펙트럼 종속성 모델링 능력과 특징 표현 향상을 향상시켰다.
• 동적 가중치 기법은 공간 손실과 주파수 손실 간의 균형을 효과적으로 조정하여 더 정확하고 세밀한 재구성 결과를 이끌어냈다.
• 점진적 업샘플링을 갖춘 하이브리드 2D/3D 컨볼루션 모듈은 저해상도에서 고해상도로의 매핑 학습을 더 잘 수행하여 더 선명한 질감과 더 세밀한 공간적 세부 정보를 제공하였다.
• 제거 실험을 통해 HSL, HFL 및 하이브리드 아키텍처 각각의 구성 요소가 전체 성능 향상에 효과적임을 확인하였다.