[논문 리뷰] S^2-Transformer for Mask-Aware Hyperspectral Image Reconstruction

Jiamian Wang, Kunpeng Li외 3명|arXiv (Cornell University)|2022. 09. 24.

Photoacoustic and Ultrasonic Imaging인용 수 4

한 줄 요약

이 논문은 CASSI 측정값으로부터 고해상도 고분광 영상 복원을 위한 마스크 인식 학습을 갖춘 S²-Transformer 네트워크를 제안한다. 공간 및 스펙트럼 주의 메커니즘을 동시에 모델링하고 마스크된 영역에서 재구성 오차를 적응적으로 우선순위화함으로써, 이 방법은 최신 기술 수준의 성능을 달성하여 이전 방법 대비 PSNR를 0.17 dB 향상시키고 SSIM을 0.0015 향상시킨다.

ABSTRACT

Snapshot compressive imaging (SCI) surges as a novel way of capturing hyperspectral images. It operates an optical encoder to compress the 3D data into a 2D measurement and adopts a software decoder for the signal reconstruction. Recently, a representative SCI set-up of coded aperture snapshot compressive imager (CASSI) with Transformer reconstruction backend remarks high-fidelity sensing performance. However, dominant spatial and spectral attention designs show limitations in hyperspectral modeling. The spatial attention values describe the inter-pixel correlation but overlook the across-spectra variation within each pixel. The spectral attention size is unscalable to the token spatial size and thus bottlenecks information allocation. Besides, CASSI entangles the spatial and spectral information into a 2D measurement, placing a barrier for information disentanglement and modeling. In addition, CASSI blocks the light with a physical binary mask, yielding the masked data loss. To tackle above challenges, we propose a spatial-spectral (S2-) Transformer implemented by a paralleled attention design and a mask-aware learning strategy. Firstly, we systematically explore pros and cons of different spatial (-spectral) attention designs, based on which we find performing both attentions in parallel well disentangles and models the blended information. Secondly, the masked pixels induce higher prediction difficulty and should be treated differently from unmasked ones. We adaptively prioritize the loss penalty attributing to the mask structure by referring to the mask-encoded prediction as an uncertainty estimator. We theoretically discuss the distinct convergence tendencies between masked/unmasked regions of the proposed learning strategy. Extensive experiments demonstrate that on average, the results of the proposed method are superior over the state-of-the-art method.

연구 동기 및 목표

• CASSI 기반 고분광 영상에서 발생하는 두 가지 주요 데이터 손실 문제인, 얽히고설킨 스펙트럼 채널 혼합과 물리적 코딩 야광에 의한 마스크된 픽셀 손실을 해결하기 위함.
• 고분광 데이터 내 임의의 공간 및 스펙트럼 상관관계를 활용하여 새로운 Transformer 아키텍처를 통해 재구성 정밀도를 향상시키기 위함.
• 광학적 마스킹에 의해 유도되는 데이터 불확실성, 특히 마스크된 영역에서의 픽셀 복원 난이도를 모델링하고, 텍스처 유도 불확실성과 구분하기 위함.
• 물리적 영상 형성 원리에 기반한 설계를 통해 고분광 영상 복원을 위한 딥 러닝 모델의 해석 가능성 향상시키기 위함.

제안 방법

• 2차원 CASSI 측정값 내에서 얽히고설킨 스펙트럼 및 공간 정보를 분리하기 위해 병렬로 작동하는 공간 및 스펙트럼 자기주의 메커니즘을 갖춘 S²-Transformer를 제안.
• 물리적 마스크 패턴에 기반해 초기 네트워크 레이어에서의 예측을 페널티 처리하는 마스크 인코딩(ME) 손실 항목을 도입.
• 예측 출력에서 픽셀 단위의 재구성 난이도를 동적으로 추론하고, 더 높은 손실 가중치를 마스크된 영역에 할당하는 마스크 인식(MA) 손실을 개발.
• 공간 및 스펙트럼 주의가 병렬로 처리되고 특징 연결 및 잔차 연결을 통해 상호작용하는 이중 브랜치 아키텍처를 구현.
• 초기 학습을 안정화하고 마스크된 영역에서 수렴성을 향상시키기 위해 ME 손실을 활용한 사전학습 단계를 도입.
• 이론적 분석을 통해 제안된 손실 전략 하에서 마스크된 영역과 마스크되지 않은 영역의 수렴 행동이 뚜렷하게 다름을 확인.

실험 결과

연구 질문

• RQ1 2차원 압축 측정값 내에서 고분광 데이터 특성을 더 잘 활용하기 위해 공간 및 스펙트럼 주의 메커니즘을 어떻게 공동으로 설계할 수 있는가?
• RQ2 물리적 마스킹에 의해 유도되는 데이터 불확실성을 모델링하는 것이 표준 L1/L2 손실 대비 재구성 정밀도 향상에 얼마나 기여하는가?
• RQ3 예측 신뢰도에 적응하는 동적 마스크 인식 손실 전략이 마스크된 영역에서 수렴성과 성능 향상에 기여하는가?
• RQ4 공간 및 스펙트럼 주의 간의 상호작용이 모델의 표현 능력과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 제안된 마스크 인식 학습을 갖춘 S²-Transformer는 기준 데이터셋에서 PSNR 36.48 dB, SSIM 0.9584를 달성하여 이전 최신 기술 수준의 방법보다 PSNR 0.17 dB 향상되고 SSIM 0.0015 향상된다.
• 절단 실험 결과, ME 및 MA 손실을 모두 사용할 경우 최고의 성능를 기록하며, 각각 별도로 사용할 경우 성능 향상가 미미하거나 없음을 확인.
• 마스크 인식(MA) 손실은 수렴 곡선과 시각적 비교를 통해 마스크된 영역에서 절대 재구성 오차를 크게 감소시킴을 입증.
• 시각적 결과는 마스크 인식 학습이 시뮬레이션 및 실세계 데이터 모두에서 텍스처 복원 및 세부 구조 재구성 능력을 향상시킴을 보여줌.
• 이론적 및 실증적 분석을 통해 제안된 손실 전략이 마스크된 영역에서 마스크되지 않은 영역보다 더 빠르고 안정적인 수렴을 이끌어냄을 확인.
• 병렬 공간-스펙트럼 주의 메커니즘은 상관관계 행렬 분석 및 주의 시각화를 통해 장거리 스펙트럼 의존성과 공간 상관관계를 효과적으로 포착함을 입증.