[논문 리뷰] SSCAN: A Spatial-spectral Cross Attention Network for Hyperspectral Image Denoising

Zhiqiang Wang, Zhenfeng Shao외 4명|arXiv (Cornell University)|2021. 05. 23.

Image and Signal Denoising Methods참고 문헌 35인용 수 18

한 줄 요약

이 논문은 군집 컨벌루션과 주목기반 기법을 활용하여 인접한 스펙트럼 대역 간 상관관계와 공간적 특징을 효과적으로 활용하는 새로운 공간-스펙트럼 교차 주목기 네트워크인 SSCAN을 제안한다. SSCAN은 스펙트럼 군집 교차 주목기 모듈(SGCAM)과 공간-스펙트럼 주목기 블록(SSAB)을 도입하여 다양한 노이즈 수준에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하며, 정량적 지표와 시각적 품질 측면에서 모두 뛰어난 성능을 보인다.

ABSTRACT

Hyperspectral images (HSIs) have been widely used in a variety of applications thanks to the rich spectral information they are able to provide. Among all HSI processing tasks, HSI denoising is a crucial step. Recently, deep learning-based image denoising methods have made great progress and achieved great performance. However, existing methods tend to ignore the correlations between adjacent spectral bands, leading to problems such as spectral distortion and blurred edges in denoised results. In this study, we propose a novel HSI denoising network, termed SSCAN, that combines group convolutions and attention modules. Specifically, we use a group convolution with a spatial attention module to facilitate feature extraction by directing models' attention to band-wise important features. We propose a spectral-spatial attention block (SSAB) to exploit the spatial and spectral information in hyperspectral images in an effective manner. In addition, we adopt residual learning operations with skip connections to ensure training stability. The experimental results indicate that the proposed SSCAN outperforms several state-of-the-art HSI denoising algorithms.

연구 동기 및 목표

• 기존 딥러닝 방법들이 스펙트럼 대역 간 상관관계를 忽시함으로써 발생하는 스펙트럼 왜곡과 흐린 경계 문제를 해결하기 위해.
• 고차원 히perspectral 이미지에서 공간적 및 스펙트럼적 종속성을 효과적으로 포착할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• 높은 노이즈 제거 성능을 유지하면서 모델 파라미터를 줄이고 기능 추출의 효율성을 향상시키기 위해.
• PSNR, SSIM, SAM, ERGAS 지표 측면에서 최신 기술 수준의 방법들보다 뛰어난 노이즈 제거 성능을 달성하기 위해.

제안 방법

• 인접한 스펙트럼 대역을 군집화하고 교차 주목기 기법을 적용하여 대역 간 상관관계를 모델링하는 스펙트럼 군집 교차 주목기 모듈(SGCAM)을 제안한다.
• 공간적 및 스펙트럼적 주목기 모듈을 통합하여 양 도메인에서 관련 기능에 집중할 수 있도록 하는 공간-스펙트럼 주목기 블록(SSAB)을 도입한다.
• 기능 추출 과정에서 파라미터 수를 줄이고 계산 효율성을 향상시키기 위해 군집 컨벌루션을 활용한다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 잔차 학습과 스킵 연결을 적용한다.
• SGCAM 내부에서 교차 주목기 기법을 적용하여 스펙트럼 및 공간 차원에서 기능 중요도를 동적으로 가중한다.
• 다중 SSAB를 연결하여 군집된 HSI 대역으로부터 점진적으로 깊은 공간-스펙트럼 표현을 추출한다.

실험 결과

연구 질문

• RQ1 스펙트럼 대역 간 상관관계를 명시적으로 모델링하는 딥러닝 모델이 독립적으로 처리하는 기존 방법들보다 더 나은 HSI 노이즈 제거 성능을 달성할 수 있는가?
• RQ2 표준 컨벌루션 레이어에 비해 공간-스펙트럼 주목기 블록이 HSI 노이즈 제거를 위한 기능 표현 향상에 얼마나 효과적인가?
• RQ3 교차 주목기 기법을 활용해 인접한 스펙트럼 대역을 군집화하면 파라미터 수를 줄일 수 있을 뿐 아니라 노이즈 제거 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 기존 최신 기술 수준의 방법들에 비해 제안된 SSCAN이 HSI 노이즈 제거 과정에서 스펙트럼 왜곡과 경계 흐림을 어느 정도 감소시키는가?
• RQ5 군집 컨벌루션과 주목기 기법의 통합이 HSI 노이즈 제거 과정에서 더 빠른 수렴과 더 나은 일반화 성능을 이끌어낼 수 있는가?

주요 결과

• 노이즈 수준 σ = 5일 때, SSCAN은 평균 PSNR 45.32 dB를 기록하여 두 번째로 우수한 성능을 보인 GradNet(43.87 dB)을 능가했으며, 기존 방법들인 LRTA(43.67 dB)를 크게 앞서 갔다.
• σ = 25일 때, SSCAN은 최고의 PSNR(39.78 dB)와 MSSIM(0.9770)를 기록했고, SAM(1.9479°)과 ERGAS(1.4931)는 최저 수준을 기록하여 뛰어난 스펙트럼 충실도를 입증했다.
• σ = 50일 때, SSCAN은 PSNR 36.73 dB를 기록하여 NGMeet(36.37 dB) 및 기타 모든 방법들을 앞서며 SAM(2.6162°)과 ERGAS(2.0739)에서도 최고 성능을 보여 높은 노이즈에 대한 강건성을 입증했다.
• σ = 75일 때, SSCAN은 PSNR 35.36 dB를 기록했고, SAM(2.9655°)과 ERGAS(2.4178)에서 모두 1위를 기록하여 모든 노이즈 수준에서 일관된 성능을 보였다.
• 시각적 비교 및 오차 맵 분석을 통해 SSCAN은 DnCNN, MemNet, HSID와 같은 경쟁 방법들보다 더 깔끔한 결과를 도출하고 잔여 노이즈와 잡음의 정도를 줄였다.
• 모든 노이즈 수준에서 네 가지 평가 지표(MPSNR, MSSIM, SAM, ERGAS)에서 최고의 종합 성능을 기록하여 정량적 및 정성적 평가 모두에서의 우월성을 확인했다.