[논문 리뷰] Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction

Yuanhao Cai, Jing Lin외 6명|arXiv (Cornell University)|2022. 03. 09.

Photoacoustic and Ultrasonic Imaging인용 수 5

한 줄 요약

이 논문은 고광谱 영상(HSI) 복원을 위한 코arse-to-fine 희소 트랜스포머(CST)를 제안한다. HSI 신호에 내재된 공간적 희소성을 활용하여 효율성과 성능을 향상시킨다. 정보성 있는 패치를 선택하기 위한 스펙트럼 인식 스크리닝 메커니즘(SASM)과 콘텐츠 관련성을 가진 픽셀을 군집화하기 위한 스펙트럼 집계 해싱 다중헤드 자기주의(SAH-MSA) 모듈을 도입함으로써, 기존 방법에 비해 훨씬 낮은 계산 비용으로 최신 기술 수준의 복원 품질을 달성한다.

ABSTRACT

Many algorithms have been developed to solve the inverse problem of coded aperture snapshot spectral imaging (CASSI), i.e., recovering the 3D hyperspectral images (HSIs) from a 2D compressive measurement. In recent years, learning-based methods have demonstrated promising performance and dominated the mainstream research direction. However, existing CNN-based methods show limitations in capturing long-range dependencies and non-local self-similarity. Previous Transformer-based methods densely sample tokens, some of which are uninformative, and calculate the multi-head self-attention (MSA) between some tokens that are unrelated in content. This does not fit the spatially sparse nature of HSI signals and limits the model scalability. In this paper, we propose a novel Transformer-based method, coarse-to-fine sparse Transformer (CST), firstly embedding HSI sparsity into deep learning for HSI reconstruction. In particular, CST uses our proposed spectra-aware screening mechanism (SASM) for coarse patch selecting. Then the selected patches are fed into our customized spectra-aggregation hashing multi-head self-attention (SAH-MSA) for fine pixel clustering and self-similarity capturing. Comprehensive experiments show that our CST significantly outperforms state-of-the-art methods while requiring cheaper computational costs. The code and models will be released at https://github.com/caiyuanhao1998/MST

연구 동기 및 목표

• 기존의 CNN 및 트랜스포머 기반 방법이 고광谱 영상(HSI) 복원에서 효율성과 성능에 한계를 보이는 문제를 해결하기 위해.
• 종종 정보가 없는 어두은 영역에 의해 지배되는 HSI 신호에 내재된 공간적 희소성을 활용하기 위해.
• 정보가 없는 또는 콘텐츠 관련성이 없는 토큰에 대한 주의 계산을 피하여 계산 비용을 감소시키기 위해.
• 콘텐츠 인식 기반의 토큰 군집화를 통해 장거리 의존성 모델링과 국소적 자기유사성 포착을 향상시켜 HSI 복원의 정확도를 높이기 위해.
• 복원 품질과 계산 복잡도 사이의 더 나은 트레이드오프를 달성하기 위해.

제안 방법

• HSI에서 정보가 풍부한 신호 중심의 패치만을 식별하고 선택하기 위해 스펙트럼 인식 스크리닝 메커니즘(SASM)을 제안한다.
• 코어스-투-파인 학습 체계를 적용한다: 먼저 SASM을 통해 패치를 선별하고, 그 다음 해싱 함수를 사용해 각 패치 내의 픽셀을 스펙트럼 유사성 기반으로 군집화한다.
• 콘텐츠 관련성이 높은 군집(버킷) 내에서만 자기주의를 계산하는 스펙트럼 집계 해싱 다중헤드 자기주의(SAH-MSA) 모듈을 도입하여 불필요한 계산을 줄인다.
• 스펙트럼 특징을 이산 버킷으로 매핑하기 위해 학습 가능한 해싱 함수를 사용하여, 공간적으로 산재해 있지만 스펙트럼적으로 유사한 픽셀을 효율적으로 군집화한다.
• 반복적으로 특징 표현과 복원 품질을 향상시키기 위해 다중라운드 정밀화 전략(R라운드)을 도입한다.
• 세부 정보와 구조적 무결성을 유지하기 위해 다중스케일 손실과 스펙트럼 일관성 손실을 조합한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 복원 모델에서 고광谱 영상의 내재된 공간적 희소성을 효과적으로 활용할 수 있는가?
• RQ2 콘텐츠 인식 기반의 패치 선택 및 토큰 군집화가 HSI 복원에서 자기주의 메커니즘의 효율성과 정확도를 향상시킬 수 있는가?
• RQ3 HSI 데이터에 희소 주의를 적용할 때 계산 비용과 복원 성능 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 스펙트럼 유사성 기반의 국소적 군집화가 구조적 및 스펙트럼 세부 정보를 보존하는 데 있어 전역 군집화보다 우수한가?
• RQ5 제안된 방법은 PSNR, SSIM 및 시각적 품질 측면에서 최신 기술 수준의 CNN 및 트랜스포머 기반 접근법과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 CST는 CAEX 데이터셋에서 PSNR 35.53 dB를 기록하여 이전 최신 기술 수준의 방법보다 0.96 dB 높고, FLOPS는 28.7% 적게 소비한다.
• SAH-MSA 모듈은 기준 모델 대비 PSNR에서 2.96 dB 향상되었으며, 추가 파rameter는 0.85M개, FLOPS는 18.20G에 불과하여 뛰어난 비용 효율성을 입증한다.
• 국소적 군집 범위(각 M×M 패치 내)가 전역 군집보다 더 높은 성능을 보이며, 더 큰 범위는 해싱 군집 품질을 떨어뜨리고 버킷 내 콘텐츠 관련성을 감소시킨다.
• 최적의 희소성 비율 σ는 0.5이며, 이보다 높은 값(예: >50%)은 핵심 신호 정보 손실로 인해 성능 저하가 심각하게 발생한다.
• 라운드 수 R=2가 성능과 계산 비용의 최적 균형을 이룬다. R=2를 초과하면 수익 감소 현상이 나타난다.
• 시각적 결과에서는 CST가 기존 방법에 비해 더 많은 미세한 질감과 구조적 세부 정보를 유지함을 확인할 수 있었으며, 특히 희소한 스펙트럼 콘텐츠를 가진 복잡한 장면에서 뚜렷한 우수성을 보였다.