[논문 리뷰] Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging

Yuanhao Cai, Jing Lin외 6명|arXiv (Cornell University)|2022. 05. 20.

Sparse and Compressive Sensing Techniques인용 수 63

한 줄 요약

노년 degrad- 인식 프레임워크(DAUF)와 새로운 Half-Shuffle Transformer(HST) 디노이저를 도입하여 Transformer 기반의 딥 언폴딩을 CASSI 기반 HSI 재구성에 적용하고, 계산 비용 및 메모리 비용이 낮으면서도 최첨단 성능을 달성합니다.

ABSTRACT

In coded aperture snapshot spectral compressive imaging (CASSI) systems, hyperspectral image (HSI) reconstruction methods are employed to recover the spatial-spectral signal from a compressed measurement. Among these algorithms, deep unfolding methods demonstrate promising performance but suffer from two issues. Firstly, they do not estimate the degradation patterns and ill-posedness degree from the highly related CASSI to guide the iterative learning. Secondly, they are mainly CNN-based, showing limitations in capturing long-range dependencies. In this paper, we propose a principled Degradation-Aware Unfolding Framework (DAUF) that estimates parameters from the compressed image and physical mask, and then uses these parameters to control each iteration. Moreover, we customize a novel Half-Shuffle Transformer (HST) that simultaneously captures local contents and non-local dependencies. By plugging HST into DAUF, we establish the first Transformer-based deep unfolding method, Degradation-Aware Unfolding Half-Shuffle Transformer (DAUHST), for HSI reconstruction. Experiments show that DAUHST significantly surpasses state-of-the-art methods while requiring cheaper computational and memory costs. Code and models will be released at https://github.com/caiyuanhao1998/MST

연구 동기 및 목표

• 코드드 에이처 스냅샷 스펙트ral Imaging(CASSI)에서 압축된 측정으로부터 열화 및 잘-정해짐 상태를 명시적으로 추정하여 고해상도 하이퍼스펙트럴 이미징 재구성을 개선하도록 동기를 부여합니다.
• RAUF 원칙 기반의 언폴딩 프레임워크(D AUF)를 제안하여 열화 인식 매개변수로 반복을 조정합니다.
• 로컬 및 비지역 의존성을 포착하는 효율적인 디노이저를 설계하는 Half-Shuffle Transformer(HST)를 제시합니다.
• DAUF와 HST를 결합하여 DAUHST 방법을 형성하고, 최첨단 방법들에 비해 성능과 효율성에서 우수함을 입증합니다.

제안 방법

• HS-Factor를 이용한 반-제곱 분할(half-quadratic splitting)을 적용하여 x와 z를 분리하고, ΦΦ^T가 대각인 관례에 맞춘 Sherman–Mittag–Wishart 유사 역행을 활용한 닫힌 형식의 x-업데이트를 이용한 반복 업데이트를 도출합니다.
• CASSI 열화 모델을 y = Φx + n으로 형식화하고, 편향된 사전(R(x))으로 MAP 최적화를 재구성 문제로 구성합니다.
• 각 단계에서 선형 투사 및 디노이징 강도를 조절하기 위해 y와 Φ로부터 추정된 반복별 열화 매개변수 α와 β를 도입합니다.
• HS-MSA를 포함하는 Half-Shuffle Transformer(HST) 디노이저를 도입하여 지역 창(self-attention)과 토큰 셔플을 통한 비지역 교차 창 상호작용을 결합, 전체 글로벌 주의보다 더 낮은 비용으로 글로벌 의존성에 근접합니다.
• DAUF의 각 반복 내부에 HST를 삽입하여 imaging 모델과 연결된 해석 가능성을 보존하면서 엔드투엔드 학습을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 compressed CASSI 측정으로부터 열화 패턴과 ill-posedness의 정도를 어떻게 추정하여 반복 재구성에 가이드를 제공할 수 있을까?
• RQ2 Transformer 기반 디노이저가 이 CASSI 하에서의 HSI 재구성에 있어 CNN 기반 사전보다 딥 언폴딩에서 우수한 성능을 보일 수 있을까?
• RQ3 열화 인식 매개변수 추정의 도입이 재구성 품질과 효율성에 어떤 효과를 미치는가?
• RQ4 Half-Shuffle Transformer가 이 작업에서 표준 글로벌 또는 로컬 트랜스포머에 비해 정확도-비용 트레이드오프에 유리한가?

주요 결과

• DAUHST는 시뮬레이션 장면 전반에서 최첨단 언폴딩 방법을 크게 능가하며 유사한 또는 더 낮은 계산 비용으로 PSNR/SSIM의 큰 이득을 달성합니다.
• 열화 인식 매개변수 추정기(E)가 CASSI 시스템의 열화 패턴에 대해 각 반복에 효과적으로 정보를 제공하여 선형 투사 및 디노이징 강도의 적응적 스케일링을 안내합니다.
• HS-MSA를 갖춘 Half-Shuffle Transformer(HST)가 지역 의존성 및 비지역 의존성을 대체 MSAs보다 더 잘 포착하여 정량적 지표와 시각적 품질 모두에서 현저한 개선에 기여합니다.
• DAUHST는 노이즈 및 실제 데이터 조건에 대한 강건성을 보여 시뮬레이션 및 실제 SCI 실험 모두에서 더 선명한 HSIs와 더 풍부한 스펙트럴 충실성을 제공합니다.