[논문 리뷰] DMDC: Dynamic-mask-based dual camera design for snapshot Hyperspectral Imaging

Zeyu Cai, Chengqian Jin외 1명|arXiv (Cornell University)|2023. 08. 03.

Photoacoustic and Ultrasonic Imaging인용 수 4

한 줄 요약

이 논문은 RGB 카메라와 CASSI 카메라를 조합한 동적 마스크 기반 双광학계 시스템인 DMDC를 제안한다. 이는 스펙트럼 이미징의 스냅샷 성능을 향상시키기 위해 RGB에서 유도된 공간 사전 지식을 활용해 SLM 마스크를 동적으로 최적화하고, 크로스 어텐션을 통해 다중 모odal 데이터를 융합함으로써 기존 최고 성능(SOTA) 대비 9 dB 이상의 PSNR 향상을 달성하면서도 파rameter와 FLOPs를 크게 감소시킨다.

ABSTRACT

Deep learning methods are developing rapidly in coded aperture snapshot spectral imaging (CASSI). The number of parameters and FLOPs of existing state-of-the-art methods (SOTA) continues to increase, but the reconstruction accuracy improves slowly. Current methods still face two problems: 1) The performance of the spatial light modulator (SLM) is not fully developed due to the limitation of fixed Mask coding. 2) The single input limits the network performance. In this paper we present a dynamic-mask-based dual camera system, which consists of an RGB camera and a CASSI system running in parallel. First, the system learns the spatial feature distribution of the scene based on the RGB images, then instructs the SLM to encode each scene, and finally sends both RGB and CASSI images to the network for reconstruction. We further designed the DMDC-net, which consists of two separate networks, a small-scale CNN-based dynamic mask network for dynamic adjustment of the mask and a multimodal reconstruction network for reconstruction using RGB and CASSI measurements. Extensive experiments on multiple datasets show that our method achieves more than 9 dB improvement in PSNR over the SOTA. (https://github.com/caizeyu1992/DMDC)

연구 동기 및 목표

• 고정 마스크 코딩으로 인해 CASSI 시스템에서 공간 조절 능력이 제한되는 공간 광조절 장치(SLM)의 문제를 해결한다.
• 단일 입력 네트워크의 고분광 복원 성능 저하 문제를 RGB 및 CASSI 측정치의 상보성 특성을 활용해 극복한다.
• RGB 이미지에서 유도된 공간 사전 지식을 통합하여 동적 SLM 인코딩을 지도함으로써 복원 정밀도와 효율성을 향상시킨다.
• 카메라 반응에 대한 사전 지식이 없더라도 스펙트럼 및 공간 특징을 효과적으로 융합할 수 있는 다중 모달, 가역적 사전 기반 네트워크 아키텍처를 개발한다.
• 기존 트랜스포머 기반 방법보다 계산 비용(파라미터 및 FLOPs)이 낮은 동시에 최고 수준의 성능을 달성한다.

제안 방법

• 스냅샷에서 상보적인 측정치를 동시에 확보하기 위해 병렬된 RGB 및 CASSI 광학 경로를 갖춘 이중 카메라 시스템을 설계한다.
• RGB 이미지 특징을 활용해 실시간 SLM 조절을 지도하는 동적 마스크 네트워크를 구현하여 장면 콘텐츠에 최적화된 인코딩을 최적화한다.
• 작은 CNN 기반의 동적 마스크 네트워크와 다중 모달 복원 네트워크를 갖춘 이중 스트림 아키텍처인 DMDC-Net을 제안한다.
• 스펙트럼 및 공간 특징 간의 크로스 어텐션 메커니즘을 통합하여 두 영역 모두에서 局소 유사성과 전반적 상관관계를 활용한다.
• 복원 스트림의 강건성과 특징 학습 능력을 향상시키기 위해 노이즈 추정기와 공간 어텐션 모듈을 통합한다.
• 복잡한 매핑을 잔차 학습으로 변환하여 반복적 개선과 향상된 최적화를 가능하게 하는 가역적 사전 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 RGB 사전 지식에 의해 유도된 동적 마스크 적응이 고정 마스크나 무작위 마스크에 비해 CASSI 복원 품질을 크게 향상시키는가?
• RQ2 RGB 및 CASSI 측정치의 다중 모달 융합이 스냅샷 고분광 영상에서 공간 및 스펙트럼 정밀도를 어느 정도 향상시키는가?
• RQ3 크로스 어텐션과 가역적 사전 설계의 통합이 모델 복잡도를 감소시키면서도 복원 성능을 향상시키는가?
• RQ4 제안된 시스템이 기존 트랜스포머 기반 CASSI 방법보다 상당히 낮은 FLOPs와 파라미터로 SOTA 성능을 달성할 수 있는가?
• RQ5 다양한 장면에서 동적 마스크 전략이 수동 또는 무작위 마스크 코딩에 비해 복원 정확도와 강건성 측면에서 어떻게 우월한가?

주요 결과

• ARAD_1K 데이터셋에서 DMDC-9stg는 49.14 dB PSNR, 99.49% SSIM, 0.0357 MRAE, 0.0038 RMSE를 기록하여 기존 SOTA 방법을 크게 능가한다.
• ARAD_1K에서 λ-net 대비 15.85 dB, TSA-net 대비 14.32 dB, MST++ 대비 10.65 dB의 PSNR 향상을 기록했으며, λ-net 대비 SSIM이 7.86% 높다.
• DMDC-1stg는 파라미터의 35.0%와 FLOPs의 83.8%만을 사용하면서도 CST-L 대비 4.62 dB, MST++ 대비 5.13 dB의 PSNR 향상을 달성했다.
• 동적 마스크 구성 요소 자체가 RGB 분기와 동일한 수준의 성능 향상을 기여하며, 고정 마스크 대비 MRAE를 0.0245 감소시켰다.
• 노이즈 추정기는 PSNR를 0.80 dB 향상시키고, 크로스 어텐션은 DMDC-1stg에서 1.00 dB, DMDC-3stg에서 0.74 dB의 성능 향상을 이끌어냈다.
• DMDC-5stg는 12 FPS 이상의 프레임 레이트에서 49 dB 이상의 PSNR를 달성하여 고속 복원과 뛰어난 정확도를 동시에 확보했다.