[논문 리뷰] Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction

Yuanhao Cai, Jing Lin외 6명|arXiv (Cornell University)|2021. 11. 15.

Photoacoustic and Ultrasonic Imaging참고 문헌 55인용 수 15

한 줄 요약

이 논문은 코딩 야광 스퍼터럴 스펙트럴 이미징(CASSI)에서 효율적인 고분광 영상(HSI) 복원을 위한 새로운 트랜스포머 기반 프레임워크인 마스크 가이드드 스펙트럴 웨이즈 트랜스포머(MST)를 제안한다. 스펙트럴 웨이즈 멀티헤드 자체주의(S-MSA)를 통해 스펙트럴 차원을 따라 자체주의를 모델링하고, 마스크 가이드드 메커니즘(MM)을 통해 주의를 가이드함으로써, 계산 및 메모리 비용을 크게 줄이며 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Hyperspectral image (HSI) reconstruction aims to recover the 3D spatial-spectral signal from a 2D measurement in the coded aperture snapshot spectral imaging (CASSI) system. The HSI representations are highly similar and correlated across the spectral dimension. Modeling the inter-spectra interactions is beneficial for HSI reconstruction. However, existing CNN-based methods show limitations in capturing spectral-wise similarity and long-range dependencies. Besides, the HSI information is modulated by a coded aperture (physical mask) in CASSI. Nonetheless, current algorithms have not fully explored the guidance effect of the mask for HSI restoration. In this paper, we propose a novel framework, Mask-guided Spectral-wise Transformer (MST), for HSI reconstruction. Specifically, we present a Spectral-wise Multi-head Self-Attention (S-MSA) that treats each spectral feature as a token and calculates self-attention along the spectral dimension. In addition, we customize a Mask-guided Mechanism (MM) that directs S-MSA to pay attention to spatial regions with high-fidelity spectral representations. Extensive experiments show that our MST significantly outperforms state-of-the-art (SOTA) methods on simulation and real HSI datasets while requiring dramatically cheaper computational and memory costs. Code and pre-trained models are available at https://github.com/caiyuanhao1998/MST/

연구 동기 및 목표

• 고분광 영상(HSI) 복원에서 CNN 기반 방법이 스펙트럴 웨이즈 유사성과 장거리 의존성을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 기존 방법들이 물리적 코딩 야광 마스크의 가이던스 잠재력을 충분히 활용하지 못하므로, CASSI 시스템에서 이를 더 효과적으로 활용하기 위해.
• 복원 품질을 유지하거나 향상시키면서도 계산 및 메모리 비용을 줄이기 위해.
• HSI 데이터에 내재된 높은 스펙트럴 상관관계와 공간 희소성을 활용하여 효율적인 모델링을 수행할 수 있는 방법을 개발하기 위해.

제안 방법

• 각 스펙트럴 채널을 토큰으로 간주하고 스펙트럴 차원을 따라 자체주의를 계산함으로써 상호 스펙트럴 상관관계를 모델링하는 스펙트럴 웨이즈 멀티헤드 자체주의(S-MSA)를 도입한다.
• 코딩 야광 마스크를 사용하여 S-MSA가 더 높은 정밀도의 스펙트럴 표현을 가진 공간 영역에 주의를 집중하도록 하는 마스크 가이드드 메커니즘(MM)을 제안한다.
• 표준 공간 웨이즈 자체주의를 스펙트럴 웨이즈 주의로 대체함으로써 HSI 데이터의 본질적 스펙트럴 유사성과 더 잘 일치시킨다.
• 직접 요소별 곱셈을 통해 마스크를 적용하는 대신 수정된 입력 방식을 사용하여 HSI 정보의 손상을 방지한다.
• 공간 장거리 상호작용보다는 스펙트럴 의존성에 집중함으로써 FLOPS와 파라미터 수를 줄인 경량 아키텍처를 구현한다.
• 엔코더-디코더 프레임워크 내에서 S-MSA와 MM을 트랜스포머 기반으로 통합하여 엔드 투 엔드 HSI 복원을 수행한다.

실험 결과

연구 질문

• RQ1 HSI 복원에서 공간 웨이즈 주의보다 스펙트럴 차원을 따라 자체주의를 모델링하는 것이 상호 스펙트럴 상관관계와 장거리 의존성을 더 잘 포착할 수 있는가?
• RQ2 물리적 코딩 야광 마스크가 주의 메커니즘을 얼마나 효과적으로 가이드하여 복원 품질과 효율성을 향상시킬 수 있는가?
• RQ3 표준 트랜스포머에 비해 스펙트럴 웨이즈 주의 메커니즘이 계산 비용을 줄이면서도 복원 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 제안된 마스크 가이드드 메커니즘(MM)은 마스크 곱셈으로 HSI 데이터를 손상시키는 전통적인 입력 방식을 능가하는가?
• RQ5 S-MSA 모듈은 글로벌 또는 국소 윈도우 기반 MSA에 비해 스펙트럴 상관관계 모델링에서 얼마나 향상되는가?

주요 결과

• 제안된 MST 프레임워크는 CAESR 데이터셋에서 PSNR 33.17 dB를 달성하여 이전 SOTA 방법보다 0.89 dB 높은 성능을 보였다.
• 단지 0.70M 파라미터와 2.93G FLOPS로도 기준 모델 대비 0.89 dB 향상된 성능을 달성하였으며, 글로벌 MSA보다 계산 비용이 크게 낮았다.
• S-MSA를 사용해 복원한 HSI의 상관계수 맵이 실제값과 가장 유사하여, 스펙트럴 유사성 모델링에서의 효과성을 확인하였다.
• 마스크 가이드드 메커니즘(MM)만으로도 PSNR가 1.08 dB 향상되어 고정밀 영역에 주의를 집중시키고 노이즈를 억제하는 능력을 입증하였다.
• S-MSA와 MM을 조합하면 기준 모델 대비 1.08 dB 향상되었으며, PSNR와 효율성 지표에서 모두 모든 SOTA 방법을 능가하는 성능을 보였다.
• 시각적 분석을 통해 MM 모듈이 구조적 세부 정보와 질감에 주의를 더 잘 집중시켜 복원된 HSI의 흐림과 잡음 요소를 줄이는 데 기여함을 확인하였다.