[논문 리뷰] Degradation-Noise-Aware Deep Unfolding Transformer for Hyperspectral Image Denoising

Haijin Zeng, Jiezhang Cao외 5명|arXiv (Cornell University)|2023. 05. 06.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

이 논문은 고분광 영상(HSI) 노이즈 제거를 위한 새로운 잡음-손상 인식 딥 언폴딩 트랜스포머인 DNA-Net을 제안한다. 이는 반복적으로 손상 매개변수를 추정하면서 희박한 노이즈와 가우시안 노이즈를 동시에 모델링한다. U-형태의 국소-비국소-스펙트럼 어텐션(U-LNSA) 모듈을 통합하여 장거리 종속성과 스펙트럼 상관관계를 포착함으로써, 낮은 계산 비용과 높은 노이즈에 대한 강건성을 확보한 상태에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Hyperspectral imaging (HI) has emerged as a powerful tool in diverse fields such as medical diagnosis, industrial inspection, and agriculture, owing to its ability to detect subtle differences in physical properties through high spectral resolution. However, hyperspectral images (HSIs) are often quite noisy because of narrow band spectral filtering. To reduce the noise in HSI data cubes, both model-driven and learning-based denoising algorithms have been proposed. However, model-based approaches rely on hand-crafted priors and hyperparameters, while learning-based methods are incapable of estimating the inherent degradation patterns and noise distributions in the imaging procedure, which could inform supervised learning. Secondly, learning-based algorithms predominantly rely on CNN and fail to capture long-range dependencies, resulting in limited interpretability. This paper proposes a Degradation-Noise-Aware Unfolding Network (DNA-Net) that addresses these issues. Firstly, DNA-Net models sparse noise, Gaussian noise, and explicitly represent image prior using transformer. Then the model is unfolded into an end-to-end network, the hyperparameters within the model are estimated from the noisy HSI and degradation model and utilizes them to control each iteration. Additionally, we introduce a novel U-Shaped Local-Non-local-Spectral Transformer (U-LNSA) that captures spectral correlation, local contents, and non-local dependencies simultaneously. By integrating U-LNSA into DNA-Net, we present the first Transformer-based deep unfolding HSI denoising method. Experimental results show that DNA-Net outperforms state-of-the-art methods, and the modeling of noise distributions helps in cases with heavy noise.

연구 동기 및 목표

• 기존의 학습 기반 HSI 노이즈 제거 방법에서 노이즈 분포 모델링의 부족을 해결한다.
• 장거리 공간적 및 스펙트럼 종속성을 포착하는 데에 한계가 있는 CNN 기반 모델의 문제점을 해결한다.
• 딥 언폴딩 프레임워크에 손상 인식 매개변수 추정을 통합하여 HSI 노이즈 제거의 해석 가능성과 성능을 향상시킨다.
• 모델 기반 방법과 딥 러닝의 장점을 융합한 하이브리드 모델을 개발하여 강력한 HSI 복원을 달성한다.

제안 방법

• 최대사후확률(MAP) 기반의 딥 언폴딩 프레임워크(DNA-Net)를 제안하여 최적화 과정 내에서 희박한 노이즈와 가우시안 노이즈를 명시적으로 모델링한다.
• 노이즈가 있는 HSI와 손상 모델로부터 직접 초모수와 노이즈 특성을 추정하여 각 언폴딩 반복 단계를 안내한다.
• 국소적 특징, 스펙트럼 상관관계, 비국소적 종속성을 동시에 포착하기 위해 U-형태의 국소-비국소-스펙트럼 어텐션(U-LNSA) 모듈을 도입한다.
• 최적화 과정을 엔드 투 엔드 학습 가능한 네트워크로 언폴딩하여 각 단계에서 무결성과 사전 지식 학습을 어텐션 기반 특징 정제와 함께 통합한다.
• 기존의 CNN을 대체하기 위해 트랜스포머 기반 아키텍처를 사용하여 전역적 맥락 모델링과 개선된 장거리 특징 학습을 가능하게 한다.
• 각 반복 단계에 노이즈 인식 손실과 매개변수 추정을 통합하여 다양한 노이즈 조건 하에서도 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 언폴딩 프레임워크는 HSI 노이즈 제거에서 희박한 노이즈와 가우시안 노이즈 분포를 효과적으로 모델링할 수 있는가?
• RQ2 손상 인식 매개변수 추정을 통합할 경우 노이즈 제거 성능과 일반화 능력은 어떻게 향상되는가?
• RQ3 U-LNSA와 같은 자기 어텐션 메커니즘은 HSI 데이터에서 장거리 공간적 및 스펙트럼 종속성을 포착하는 데서 CNN보다 얼마나 뛰어난가?
• RQ4 딥 언폴딩 프레임워크에 트랜스포머 기반 아키텍처를 통합할 경우 기존의 최신 기술 수준(SOTA) 방법 대비 뛰어난 성능과 낮은 계산 비용을 달성할 수 있는가?
• RQ5 제안된 DNA-Net 아키텍처에서 반복 횟수와 성능 사이의 상충 관계는 어떠한가?

주요 결과

• S1 데이터셋에서 Case -3 노이즈 조건 하에서 DNA-Net은 PSNR 44.168 dB를 기록하여 이전의 SOTA 방법인 SERT보다 1.78 dB 높은 성능을 달성한다.
• S9 데이터셋에서 Case -4 노이즈 조건 하에서 DNA-Net-B는 PSNR 43.780 dB를 기록하여 SERT를 1.79 dB 초월하며 높은 노이즈 조건에서도 뛰어난 강건성을 보여준다.
• 제안된 U-LNSA 모듈은 성능 향상에 크게 기여한다: 국소 어텐션 외에 스펙트럼 및 비국소 어텐션을 추가하면 PSNR가 1.5 dB 이상 향상된다.
• 5회의 반복을 수행하는 DNA-Net-B는 2회의 반복을 수행하는 DNA-Net-L보다 더 높은 PSNR와 SSIM 성능을 기록하지만, 추론 시간이 증가하는 비용이 수반된다.
• DNA-Net은 이전 방법들 대비 상당히 낮은 계산 비용과 메모리 사용량을 기반으로 최신 기술 수준(SOTA) 성능을 달성한다.
• 아블레이션 스터디 결과, 노이즈 인식 매개변수 추정과 다중헤드 어텐션 메커니즘은 특히 고노이즈 환경에서 성능 향상에 핵심적인 역할을 한다.