[논문 리뷰] GAP-net for Snapshot Compressive Imaging

Ziyi Meng, Shirin Jalali외 1명|arXiv (Cornell University)|2020. 12. 13.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 74

한 줄 요약

GAP-net은 스냅샷 압축 이미징의 일반화된 교대 투영 프레임워크를 각 단계에 학습 가능한 CNN 디노이저를 삽입해 해석하고, 수렴 보장을 갖춘 채 비디오 및 스펙트럴 SCI에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

Snapshot compressive imaging (SCI) systems aim to capture high-dimensional ($\ge3$D) images in a single shot using 2D detectors. SCI devices include two main parts: a hardware encoder and a software decoder. The hardware encoder typically consists of an (optical) imaging system designed to capture {compressed measurements}. The software decoder on the other hand refers to a reconstruction algorithm that retrieves the desired high-dimensional signal from those measurements. In this paper, using deep unfolding ideas, we propose an SCI recovery algorithm, namely GAP-net, which unfolds the generalized alternating projection (GAP) algorithm. At each stage, GAP-net passes its current estimate of the desired signal through a trained convolutional neural network (CNN). The CNN operates as a denoiser that projects the estimate back to the desired signal space. For the GAP-net that employs trained auto-encoder-based denoisers, we prove a probabilistic global convergence result. Finally, we investigate the performance of GAP-net in solving video SCI and spectral SCI problems. In both cases, GAP-net demonstrates competitive performance on both synthetic and real data. In addition to having high accuracy and high speed, we show that GAP-net is flexible with respect to signal modulation implying that a trained GAP-net decoder can be applied in different systems. Our code is at https://github.com/mengziyi64/ADMM-net.

연구 동기 및 목표

• 비디오 SCI와 스펙트럴 SCI 모두에 적용 가능한 통합 SCI 재구성 방법을 개발한다.
• GAP 기반 프로젝션 체계의 각 단계에 CNN 기반 디노이저를 도입한다.
• AE 기반 GAP-net에 대한 이론적 수렴 보장을 제공한다.
• 합성 및 실험 SCI 데이터에서 경쟁력 있는 정확도와 속도를 시연한다.

제안 방법

• SCI 재구성을 (1/2)||y-Hx||^2 + tau*Omega(x)를 최소화하는 형태로 정식화한다.
• GAP를 이용해 보조 변수 v를 사용하여 선형 모델 y=Hx로의 반복 투영을 수행한다.
• 각 단계에서 유클리드 투영 x^(k+1)=v^(k)+H^T(HH^T)^{-1}(y-Hv^(k))를 수행한다.
• 학습된 CNN 디노이저 D_{k+1}를 적용해 x^(k+1)을 신호 공간으로 다시 매핑하고, v^(k+1)=D_{k+1}(x^(k+1))를 얻는다.
• 비디오 및 스펙트럴 SCI를 위해 단계별 디노이저(AE, DnCNN, U-net, ResNet)를 훈련시킨다.
• 주어진 조건에서 AE 기반 GAP-net의 전역 수렴을 보이는 수렴 분석을 제공한다.

실험 결과

연구 질문

• RQ1 단일 프레임워크 내에서 GAP-net이 비디오 SCI와 스펙트럴 SCI 모두에 대해 정확한 재구성을 제공할 수 있는가?
• RQ2 단계별 CNN 디노이저가 계산 효율성을 유지하면서 재구성 품질을 향상시키는가?
• RQ3 스냅샷 압축 이미징 시나리오에서 AE-based GAP-net의 수렴 보장은 무엇인가?
• RQ4 합성 및 실험 SCI 데이터에서 GAP-net이 다른 반복, 엔드-투-엔드 및 PnP 방법과 어떻게 비교되는가?

주요 결과

• GAP-net은 DeSCI 및 다수의 대안들에 비해 시간은 훨씬 빠르면서도 경쟁력 있는 PSNR/SSIM을 달성한다.
• 9단계에서 U-net 또는 ResNet 디노이저를 사용하면 여섯 개의 합성 비디오 SCI 데이터세트(Kobe, Traffic, Runner, Drop, Vehicle, Aerial)에서 여러 베이스라인보다 더 높은 품질의 재구성을 얻는다.
• 9단계와 빠른 CNN 디노이저를 사용하는 GAP-net은 ResNet 사용 시 측정당 약 4 ms를 달성해 거의 실시간 재구성을 가능하게 한다.
• 실제 비디오 SCI 데이터에서 GAP-net은 여러 베이스라인보다 더 선명한 모션 디테일과 더 깨끗한 배경을 생성한다.
• 스펙트럴 SCI의 경우 9단계와 U-net 디노이저를 갖춘 GAP-net이 합성 데이터의 10개 장면에서 PSNR/SSIM 면에서 다수의 반복 및 학습 기반 방법보다 우수하며, 실제 데이터에서도 강한 질적 결과를 보인다.
• 이론적 결과는 선택된 생성 모델 및 센싱 가정 하에 AE 기반 GAP-net의 전역 수렴을 확립한다.