[논문 리뷰] ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution

Mingjin Zhang, Chengqi Zhang외 4명|arXiv (Cornell University)|2023. 07. 26.

Advanced Image Fusion Techniques인용 수 4

한 줄 요약

이 논문은 고분광 영상 초해상도 분석을 위한 새로운 효율적 트랜스포머 아키텍처인 ESSAformer을 제안한다. 기존의 표준 자기주의(self-attention) 대신 스펙트럼 친화적이고 커널화된 자기주의 메커니즘을 도입하며, 이는 스펙트럼 상관계 계수(Spectral Correlation Coefficient, SCC) 기반이다. SCC의 스펙트럼 이동 및 스케일링에 대한 불변성과 머서의 커널 정리에 기반한 주의 메커니즘 재구성으로 인해 선형 복잡도를 달성하고, 소규모 데이터셋에서의 전연습 학습이 가능해졌으며, 빠른 추론과 함께 최신 기술 수준의 성능을 제공한다.

ABSTRACT

Single hyperspectral image super-resolution (single-HSI-SR) aims to restore a high-resolution hyperspectral image from a low-resolution observation. However, the prevailing CNN-based approaches have shown limitations in building long-range dependencies and capturing interaction information between spectral features. This results in inadequate utilization of spectral information and artifacts after upsampling. To address this issue, we propose ESSAformer, an ESSA attention-embedded Transformer network for single-HSI-SR with an iterative refining structure. Specifically, we first introduce a robust and spectral-friendly similarity metric, \ie, the spectral correlation coefficient of the spectrum (SCC), to replace the original attention matrix and incorporates inductive biases into the model to facilitate training. Built upon it, we further utilize the kernelizable attention technique with theoretical support to form a novel efficient SCC-kernel-based self-attention (ESSA) and reduce attention computation to linear complexity. ESSA enlarges the receptive field for features after upsampling without bringing much computation and allows the model to effectively utilize spatial-spectral information from different scales, resulting in the generation of more natural high-resolution images. Without the need for pretraining on large-scale datasets, our experiments demonstrate ESSA's effectiveness in both visual quality and quantitative results.

연구 동기 및 목표

• 고분광 영상 초해상도(HSI-SR)에서 장거리 공간-스펙트럼 상관관계를 포착하는 데에 한계를 보이는 CNN 기반 방법의 문제를 해결하기 위해.
• 표준 비전 트랜스포머가 대규모 데이터셋을 요구하고 이차형 주의 복잡도로 인해 계산 비용이 높은 문제를 해결하기 위해.
• 스펙트럼 강도 변화(예: 그림자 또는 가림으로 인한 것들)에 강건한 자기주의 메커니즘을 설계하여 소규모 데이터셋에서 효과적인 학습이 가능하도록 하기 위해.
• 고해상도 HSI 복원을 선형 계산 복잡도로 달성하면서도, 시각적 및 정량적 성능을 유지하거나 향상시키기 위해.

제안 방법

• 스펙트럼 이동 및 스케일링에 대해 불변성을 보장하는 스펙트럼 친화적 유사도 측정법으로 스펙트럼 상관관계 계수(SCC)를 도입하여 내재된 스펙트럼 불변성 유도 bias를 제공한다.
• SCC 기반의 자기주의 메커니즘인 ESSA를 제안하며, 비선형 제곱 지수 커널을 사용하여 커널화를 통해 선형 복잡도를 달성한다.
• 머서 정리를 활용해 SCC를 변환된 특징의 내적 곱으로 표현함으로써 효율적인 계산을 가능하게 하며, 주의 연산 순서를 키와 값의 곱셈을 먼저 수행하도록 재정렬한다.
• 다양한 스케일의 공간-스펙트럼 표현을 포착하기 위해 다운샘플링과 업샘플링을 번갈아 적용하는 반복적 정밀화 아키텍처를 설계한다.
• 가벼운 구조와 파라미터 효율성을 갖춘 설계를 통해 대규모 사전학습 없이도 효과적인 전연습 학습이 가능하도록 한다.
• 비전 트랜스포머 기반 아키텍처에 ESSA 모듈을 통합하여 단일 고분광 영상 초해상도를 위한 전용 아키텍처인 ESSAformer을 구축한다.

실험 결과

연구 질문

• RQ1 스펙트럼 상관관계 계수(SCC) 기반 자기주의 메커니즘이 대규모 사전학습 없이도 데이터 효율성과 강건성을 향상시킬 수 있는가?
• RQ2 표준 자기주의의 이차형 복잡도를 유지하면서도 장거리 상관관계 모델링 능력을 유지한 채 선형 복잡도로 줄일 수 있는가?
• RQ3 ESSA 자기주의 메커니즘이 표준 다중헤드 자기주의 및 다른 선형 자기주의 변종보다 PSNR, SAM 및 추론 속도 측면에서 고분광 영상 초해상도 벤치마크에서 슈퍼리어한 성능을 보일 수 있는가?
• RQ4 제안된 ESSAformer이 ICVL 및 NTIRE를 포함한 소규모 및 대규모 고분광 영상 초해상도 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 ESSA 자기주의 메커니즘이 가림이나 조명 변화와 같은 스펙트럼 왜곡 상황에서도 주의 안정성을 유지할 수 있는가?

주요 결과

• Chikusei 4× 데이터셋에서 ESSAformer은 PSNR 40.7648과 SAM 2.2126을 기록하여 SwinIR 및 RLFN과 같은 이전 최신 기술 수준의 방법들을 능가했다.
• 대규모 ICVL 데이터셋에서 ESSAformer은 PSNR 39.5158과 SAM 1.9130을 달성하여 RLFN 및 SwinIR보다 두 지표에서 모두 뛰어난 성능을 보였다.
• NTIRE2022 데이터셋에서 ESSAformer은 PSNR 37.8432와 SAM 1.2202를 기록하여 대규모 벤치마크에서 강력한 일반화 능력을 입증했다.
• NTIRE2020에서 ESSAformer은 SwinIR 대비 2배 이상 빠른 추론 속도를 기록하면서도 유사한 PSNR 성능을 유지하여 효율성-성능 트레이드오���에서 뛰어난 성능을 보였다.
• 주의 맵 분석 결과, ESSA는 스펙트럼 노이즈(예: 이동 및 스케일링) 상황에서도 특징을 집중적으로 유지하는 반면, 표준 다중헤드 자기주의는 기능이 붕괴됨을 확인하여 강건성을 입증했다.
• ESSA를 사용한 학습은 채널 기반 자기주의보다 더 빠르게 수렴하고 낮은 손실을 기록하여 학습 효율성과 안정성이 향상됨을 보였다.