[논문 리뷰] Deep Gaussian Scale Mixture Prior for Spectral Compressive Imaging

Tao Huang, Weisheng Dong외 3명|arXiv (Cornell University)|2021. 03. 12.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 7

한 줄 요약

이 논문은 코딩 어在此에서 스펙트럼 영상 복원을 위한 딥 가우시안 스케일 믹스처(DGSM) 사전을 제안하며, 최대사후확률(MAP) 추정 프레임워크 내에서 깊이 학습된 컨volution 신경망(DCNN)을 통해 스케일 및 국소 평균 사전을 학습한다. 이 방법은 종합적으로 MAP 추정기와 DCNN 파ameters를 엔드 투 엔드로 최적화함으로써 합성 및 실재 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 다양한 마스크에 대해 강건한 성능을 보이며 PSNR 및 SSIM 측면에서 기존 방법을 능가한다.

ABSTRACT

In coded aperture snapshot spectral imaging (CASSI) system, the real-world hyperspectral image (HSI) can be reconstructed from the captured compressive image in a snapshot. Model-based HSI reconstruction methods employed hand-crafted priors to solve the reconstruction problem, but most of which achieved limited success due to the poor representation capability of these hand-crafted priors. Deep learning based methods learning the mappings between the compressive images and the HSIs directly achieved much better results. Yet, it is nontrivial to design a powerful deep network heuristically for achieving satisfied results. In this paper, we propose a novel HSI reconstruction method based on the Maximum a Posterior (MAP) estimation framework using learned Gaussian Scale Mixture (GSM) prior. Different from existing GSM models using hand-crafted scale priors (e.g., the Jeffrey's prior), we propose to learn the scale prior through a deep convolutional neural network (DCNN). Furthermore, we also propose to estimate the local means of the GSM models by the DCNN. All the parameters of the MAP estimation algorithm and the DCNN parameters are jointly optimized through end-to-end training. Extensive experimental results on both synthetic and real datasets demonstrate that the proposed method outperforms existing state-of-the-art methods. The code is available at https://see.xidian.edu.cn/faculty/wsdong/Projects/DGSM-SCI.htm.

연구 동기 및 목표

• 수작업으로 만든 사전가의 모델 기반 HSI 복원에서의 한계를 해결하기 위해, 이는 표현 능력이 약하여 최적의 결과를 얻기 어려운 경우가 많기 때문이다.
• 딥 러닝 기반 HSI 복원에서의 히우리스틱 설계 과제를 해결하기 위해, 최적 성능을 내기 위해 광범위한 네트워크 설계가 필요로 하는 문제를 해결하기 위함이다.
• 학습된 사전를 원칙적인 MAP 추정 설정에 통합한 해석 가능한 HSI 복원 프레임워크를 개발하기 위함이다.
• 엔드 투 엔드 학습을 통해 측정 행렬 A와 그 전치행렬 Aᵀ를 함께 학습함으로써 다양한 코딩 어在此 마스크에 대한 강건성을 향상시키기 위함이다.

제안 방법

• 공간-스펙트럼 상관관계를 포착하기 위해 가우시안 스케일 믹스처(GSM) 모델을 사용하여 HSI 복원 문제를 최대사후확률(MAP) 추정 문제로 공식화한다.
• 기존의 수작업으로 만든 스케일 사전(예: 제퍼리의 사전)을 대체하기 위해 데이터로부터 스케일 사전을 학습하는 딥 컨volution 신경망(DCNN)을 도입한다.
• GSM 모델의 국소 평균을 공간-스펙트럼 이웃 픽셀의 가중 평균으로 추정하며, 이 가중치는 비국소 자기유사성을 모델링하기 위해 DCNN이 예측한다.
• 모든 MAP 추정기 파라미터와 DCNN 파라미터를 엔드 투 엔드 학습 체계에서 종합적으로 최적화하여 복원 정밀도를 향상시킨다.
• 특징 전파와 기울기 흐름을 향상시켜 표현 학습을 개선하기 위해 DCNN에 밀집된 스케일 연결(dense skip connections)을 통합한다.
• 다양한 마스크 다섯 종류를 포함한 복합 학습 데이터셋을 사용하여 단일 강건한 모델을 훈련함으로써 마스크별 재훈련이 필요 없도록 한다.

Figure 1: A single shot measurement captured by [ 22 ] and 28 reconstructed spectral channels using our proposed method.

실험 결과

연구 질문

• RQ1 딥 신경망은 HSI 복원을 위한 가우시안 스케일 믹스처(GSM) 모델의 스케일 사전을 효과적으로 학습할 수 있는가? 이는 수작업 사전에 비해 성능 향상을 이끌 수 있는가?
• RQ2 GSM 모델의 국소 평균은 공간-스펙트럼 가중 평균 메커니즘을 통해 학습 가능한 방식으로 효과적으로 추정될 수 있는가? 이는 복원 정확도 향상에 기여하는가?
• RQ3 MAP 추정기와 DCNN 파라미터를 엔드 투 엔드로 공동 최적화하면 히우리스틱 네트워크 설계에 비해 우수한 성능을 낼 수 있는가?
• RQ4 다양한 마스크에서 훈련된 단일 모델은 효과적으로 일반화될 수 있는가? 이는 실세계 CASSI 시스템에서 마스크별 재훈련이 필요 없도록 하는가?

주요 결과

• 11비트 샷 노이즈 조건에서 CAVE 데이터셋에서 PSNR 32.63 dB, SSIM 0.9166을 달성하여 기준 방법들을 능가한다.
• 실제 SD-CASSI 데이터에서, TwIST, GAP-TV, DeSCI, TSA-Net에 비해 더 나은 질감 세부 정보와 노이즈 억제 성능을 보였다.
• 절단 분석 결과, 필터 크기를 q=7 초과로 늘일 경우 수익 감소가 발생하여 최적의 선택으로 q=7이 선정되었다.
• 스테이지 수 T를 1에서 4로 늘일수록 성능 향상이 있었으며, 정확도와 계산 비용의 균형을 고려해 T=4가 선택되었다.
• 밀집 연결을 사용함으로써 PSNR가 2.11 dB, SSIM이 0.0364 향상되어 특징 학습에서의 효과를 입증하였다.
• 다섯 가지 마스크를 포함한 복합 데이터셋으로 훈련된 단일 모델이 TSA-Net과 DNU로 훈련된 다섯 개의 마스크별 전용 모델보다 우수한 성능을 보이며 마스크 변동에 대한 강건성을 입증하였다.

Figure 2: The imaging schematic of CASSI system.