[논문 리뷰] Mixed Attention Network for Hyperspectral Image Denoising

Zeqiang Lai, Ying Fu|arXiv (Cornell University)|2023. 01. 27.

Image and Signal Denoising Methods인용 수 7

한 줄 요약

이 논문은 다중 헤드 순환 스펙트럼 주의(Multi-Head Recurrent Spectral Attention)를 통해 상호 스펙트럼 상관관계를 공동으로 모델링하고, 점진적 스펙트럼 채널 주의(Progressive Spectral Channel Attention)를 통해 내부 스펙트럼 관계를 모델링하면서, 주의 기반 스킵 연결을 사용하여 저수준 및 고수준 특징을 적응적으로 융합하는 혼합 주의망(Mixed Attention Network, MAN)을 제안한다. MAN은 기존 방법보다 파rameter 수와 추론 시간이 적은 것으로서, 시뮬레이션된 노이즈와 실제 세계의 노이즈에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Hyperspectral image denoising is unique for the highly similar and correlated spectral information that should be properly considered. However, existing methods show limitations in exploring the spectral correlations across different bands and feature interactions within each band. Besides, the low- and high-level features usually exhibit different importance for different spatial-spectral regions, which is not fully explored for current algorithms as well. In this paper, we present a Mixed Attention Network (MAN) that simultaneously considers the inter- and intra-spectral correlations as well as the interactions between low- and high-level spatial-spectral meaningful features. Specifically, we introduce a multi-head recurrent spectral attention that efficiently integrates the inter-spectral features across all the spectral bands. These features are further enhanced with a progressive spectral channel attention by exploring the intra-spectral relationships. Moreover, we propose an attentive skip-connection that adaptively controls the proportion of the low- and high-level spatial-spectral features from the encoder and decoder to better enhance the aggregated features. Extensive experiments show that our MAN outperforms existing state-of-the-art methods on simulated and real noise settings while maintaining a low cost of parameters and running time.

연구 동기 및 목표

• 기존 방법들이 고분광 영상(HSI) 노이즈 제거에서 복잡한 스펙트럼 상관관계와 특징 상호작용을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 모든 파장대에서의 상호 스펙트럼 의존성과 각 파장대 내부의 내부 스펙트럼 관계를 공동으로 캡처하여 노이즈 제거 성능을 향상시키기 위해.
• 에코더와 디코더 간의 특징 융합을 향상시키기 위해 스킵 연결에 대해 적응적인 공간-스펙트럼 주의 가중치를 학습시키기 위해.
• 특히 실제 응용에 적합하게 최소한의 파arameter와 빠른 추론 시간을 유지하면서 높은 효율성을 확보하기 위해.

제안 방법

• 다중 헤드 순환 스펙트럼 주의(MHRSA)를 도입하여, 두 개의 경량 MLP를 사용해 동적 주의 맵과 값 특징을 생성함으로써 스펙트럼 대역 간 순환 주의를 적용하고, 효율적인 양방향 컨텍스트 집합을 가능하게 한다.
• 점진적 스펙트럼 채널 주의(PSCA)를 제안하여, 상호 스펙트럼 융합 이후 각 스펙트럼 대역 내 특징 향상을 위해 동적 및 정적 채널 혼합을 순차적으로 적용한다.
• 요소별 융합 가중치를 학습하여 에코더와 디코더의 특징을 융합하는 주의 기반 스킵 연결(ASC)을 설계하여, 정보가 많은 공간-스펙트럼 영역을 적응적으로 선택할 수 있도록 한다.
• MHRSA, PSCA, ASC를 U자형 네트워크 아키텍처에 통합하여 다중 척도 및 스펙트럼 차원에서 특징을 점진적으로 정제한다.
• 주로 주의 계산을 위해 밀도 높은 컨볼루션 대신 MLP를 사용함으로써 최소한의 파arameter 증가로 경량 설계를 구현한다.
• 시뮬레이션 및 실제 고분광 영상 노이즈 제거 벤치마크에서 엔드 투 엔드로 훈련하며, 구성 요소 기여도를 검증하기 위한 분석 연구를 실시한다.

Figure 1 : Speed and performance comparison. Our method outperforms state-of-the-art methods with low-cost parameters and runtime. Comparisons are performed on the ICVL dataset with blind Gaussian noise.

실험 결과

연구 질문

• RQ1 순환 스펙트럼 주의는 모든 파장대를 통해 상호 스펙트럼 상관관계를 효과적으로 모델링하면서도 계산 효율성을 유지할 수 있는가?
• RQ2 점진적 내부 스펙트럼 채널 주의는 상호 스펙트럼 융합 이후 각 파장대 내 특징 표현을 향상시킬 수 있는가?
• RQ3 공간-스펙트럼 기반 주의 가중치를 학습하는 적응형 스킵 연결은 표준 덧셈형 또는 연결형 스킵 연결을 능가하는가?
• RQ4 상호 및 내부 스펙트럼 상관관계의 공동 모델링과 적응형 특징 융합을 통해 최신 기술 수준의 노이즈 제거 성능을 달성하면서도 파arameter 비용을 낮출 수 있는가?

주요 결과

• 제안된 MAN은 가우시안 노이즈(σ=50) 조건에서 ICVL 데이터셋에서 최신 기술 수준의 PSNR 41.94 dB를 달성하여 모든 SOTA 방법을 능가한다.
• 3D 컨볼루션과 ReLU를 사용하는 기준 UNet 대비 0.36 dB 향상된 성능을 기록하여, PSCA가 내부 스펙트럼 특징을 향상시키는 데 효과적임을 입증한다.
• MHRSA 블록이 가장 큰 성능 향상을 기여하여 PSNR를 0.52 dB 향상시켰으며, 상호 스펙트럼 상관관계 모델링의 중요성을 확인한다.
• 주의 기반 스킵 연결은 표준 덧셈형 스킵 연결 대비 0.35 dB 향상된 성능을 기록하여, 정보가 많은 특징을 선택적으로 강조할 수 있음을 보여준다.
• MAN은 소형 모델 크기(1.39M 파arameter)와 빠른 추론 시간(0.97초)을 유지하며, 더 무거운 모델인 GRUNet(14.2M 파arameter, 0.87초)보다도 속도와 정확도에서 뛰어난 성능을 보인다.
• 시각화 결과는 ASC와 MHRSA에서 생성된 주의 맵이 콘텐츠에 따라 공간적·스펙트럼적으로 적응적임을 확인하였으며, 다양한 영역과 파장대에 집중하고 있음을 확인한다.

Figure 2 : Overall architectures of the proposed mixed attention network and mixed attention block.