[논문 리뷰] Spatial-Spectral Residual Network for Hyperspectral Image Super-Resolution

Qi Wang, Qiang Li외 1명|arXiv (Cornell University)|2020. 01. 14.

Advanced Image Fusion Techniques참고 문헌 41인용 수 24

한 줄 요약

이 논문은 공간-스펙트럼 잔차 모듈(SSRMs)과 분리 가능한 3D 컨볼루션을 통해 공간 및 스펙트럼 특징을 동시에 활용하는 3D 컨볼루션 신경망인 SSRNet을 제안한다. 이는 최신 기술 수준의 고분해능 환경에서의 고분해능 환경에서의 초해상도를 달성한다. 이 방법은 PSNR, SSIM, SAM 지표를 크게 향상시키면서도 스펙트럼 충실도를 유지하고 밴드 손실을 방지하여 기존 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Deep learning-based hyperspectral image super-resolution (SR) methods have achieved great success recently. However, most existing models can not effectively explore spatial information and spectral information between bands simultaneously, obtaining relatively low performance. To address this issue, in this paper, we propose a novel spectral-spatial residual network for hyperspectral image super-resolution (SSRNet). Our method can effectively explore spatial-spectral information by using 3D convolution instead of 2D convolution, which enables the network to better extract potential information. Furthermore, we design a spectral-spatial residual module (SSRM) to adaptively learn more effective features from all the hierarchical features in units through local feature fusion, significantly improving the performance of the algorithm. In each unit, we employ spatial and temporal separable 3D convolution to extract spatial and spectral information, which not only reduces unaffordable memory usage and high computational cost, but also makes the network easier to train. Extensive evaluations and comparisons on three benchmark datasets demonstrate that the proposed approach achieves superior performance in comparison to existing state-of-the-art methods.

연구 동기 및 목표

• 기존 딥 러닝 방법이 고분해능 환경에서의 공간 및 스펙트럼 정보를 동시에 캡처하는 데에 한계가 있다는 문제를 해결하기 위해.
• 재구성 과정에서 원본 스펙트럼 밴드 수를 유지하고 스펙트럼 왜곡을 방지하는 네트워크를 개발하기 위해.
• 효율적인 분리 가능한 3D 컨볼루션을 통해 복잡도를 낮추고 계산 비용과 메모리 사용량을 줄이면서도 높은 성능을 유지하기 위해.
• 쌍체의 고해상도 RGB 이미지가 필요 없이 엔드 투 엔드의 지도 학습을 가능하게 하기 위해.
• 잔차 모듈 내 국소적 특징 융합을 통해 계층적 특징을 적응적으로 융합함으로써 특징 표현을 향상시키기 위해.

제안 방법

• 제안된 SSRNet은 2D 대신 3D 컨볼루션 레이어를 사용하여 고분해능 데이터에서 공간 및 스펙트럼 특징을 동시에 추출한다.
• 국소적 특징 융합을 통해 계층적 단위에서 효과적인 특징을 적응적으로 학습할 수 있도록 공간-스펙트럼 잔차 모듈(SSRM)을 설계하였다.
• 분리 가능한 3D 컨볼루션을 사용하여 공간 및 스펙트럼 특징을 별도로 추출함으로써 모델 복잡도와 학습 비용을 감소시켰다.
• 저해상도에서 고해상도 고분해능 환경으로의 매핑을 학습하기 위해 지도 학습 방식으로 네트워크를 훈련시켰다.
• 아키텍처는 스펙트럼 밴드 수를 변경하지 않아 재구성 시 완전한 스펙트럼 충실도를 보장한다.
• 이 방법은 쌍체의 RGB 이미지에 의존하지 않아 다양한 데이터셋과 환경에서 더 뛰어난 강건성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 3D 컨볼루션 기반 네트워크는 고분해능 환경에서의 공간 및 스펙트럼 특징을 효과적으로 활용할 수 있는가?
• RQ2 공간-스펙트럼 잔차 모듈 내 국소적 특징 융합은 표준 잔차 블록에 비해 특징 표현을 어떻게 향상시키는가?
• RQ3 분리 가능한 3D 컨볼루션은 성능을 손상시키지 않으면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 여러 기준 데이터셋에서 PSNR, SSIM, SAM 측정치를 기준으로 제안된 방법은 최신 기술 수준의 방법과 어떻게 비교되는가?
• RQ5 RGB 이미지 가이던스의 부재는 다양한 고분해능 환경에서의 강건성과 일반화 능력을 향상시키는가?

주요 결과

• ×4 스케일 요인으로 CAVE 데이터셋에서 SSRNet은 PSNR 38.67 dB를 기록하여 두 번째로 우수한 방법(EDSR)보다 +0.36 dB 높게 기록했다.
• 동일한 데이터셋에서 SSRNet은 SSIM을 +0.002 향상시키고 EDSR 대비 SAM을 -0.07 감소시켰다.
• Harvard 데이터셋에서 ×3 스케일에서 SSRNet은 두 번째로 뛰어난 방법보다 PSNR에서 +0.98 dB 향상되고 SSIM에서 +0.004 향상되었다.
• 시각적 비교 결과 SSRNet은 가장 정확한 에지 디테일과 가장 파란색(낮은) 절대 오차 맵을 생성하여 뛰어난 재구성 품질을 보였다.
• 스펙트럼 곡선 분석을 통해 SSRNet의 스펙트럼 반응이 참값에 가장 가까운 것으로 확인되었으며, 3D-FCNN와 달리 재구성 과정에서 밴드 손실가 없이 현저히 낮은 왜곡을 보였다.
• SSRNet은 전체 스펙트럼 밴드 수를 유지하고 있으며, 모든 데이터셋과 스케일 요인에서 일관되게 낮은 SAM 값을 기록함으로써 최고의 스펙트럼 충실도를 확보했다.