[논문 리뷰] Dense Deep Unfolding Network with 3D-CNN Prior for Snapshot Compressive Imaging

Zhuoyuan Wu, Jian Zhang외 1명|arXiv (Cornell University)|2021. 09. 14.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 스냅샷 압축 영상에서 3D-CNN 사전 지식을 통합한 밀도 높은 딥 언폴딩 네트워크를 제안한다. 반-평형 분할(_HALF-QUADRATIC SPLITTING) 반복을 딥 네트워크로 언폴딩하면서 시공간 상관관계를 모델링하기 위해 3D-CNN를 통합한다. 특징 맵의 밀도 높은 융합과 적응형 융합 모듈을 도입하여 단계 간 정보 손실을 감소시켜, 0.45dB의 PSNR 향상과 실제 데이터에서의 뛰어난 강인성을 달성한다.

ABSTRACT

Snapshot compressive imaging (SCI) aims to record three-dimensional signals via a two-dimensional camera. For the sake of building a fast and accurate SCI recovery algorithm, we incorporate the interpretability of model-based methods and the speed of learning-based ones and present a novel dense deep unfolding network (DUN) with 3D-CNN prior for SCI, where each phase is unrolled from an iteration of Half-Quadratic Splitting (HQS). To better exploit the spatial-temporal correlation among frames and address the problem of information loss between adjacent phases in existing DUNs, we propose to adopt the 3D-CNN prior in our proximal mapping module and develop a novel dense feature map (DFM) strategy, respectively. Besides, in order to promote network robustness, we further propose a dense feature map adaption (DFMA) module to allow inter-phase information to fuse adaptively. All the parameters are learned in an end-to-end fashion. Extensive experiments on simulation data and real data verify the superiority of our method. The source code is available at https://github.com/jianzhangcs/SCI3D.

연구 동기 및 목표

• 모델 기반 방법의 계산 복잡도 및 학습 기반 방법의 해석 가능성과 일반화 능력에 대한 한계를 해결한다.
• 영상 프레임 간 시공간 상관관계를 활용하여 스냅샷 압축 영상에서 재구성 품질을 향상시킨다.
• 특징 업/다운 샘플링으로 인한 단계 간 정보 손실을 줄이기 위해 밀도 높은 특징 맵 융합 전략을 제안한다.
• 적응형 학습 가능한 융합 메커니즘을 통해 단계 간 특징 전파를 향상시킨다.
• 실제 적용이 가능한 종단 간 훈련이 가능하고, 해석 가능하며 고성능인 SCI 재구성 성능을 달성한다.

제안 방법

• 반-평형 분할(Half-Quadratic Splitting, HQS) 알고리즘의 각 반복을 네트워크 단계로 언폴딩하여 모델 기반 최적화와 딥 러닝을 융합한다.
• 근접 맵핑 모듈에 3D-CNN 사전 지식을 통합하여 영상 시퀀스의 시공간 상관관계를 명시적으로 모델링한다.
• 인접한 단계의 특징 맵을 연결하여 정보 손실을 줄이기 위해 밀도 높은 특징 맵(DFM) 융합 전략을 제안한다.
• 단계 간 특징을 가중치를 학습하고 융합할 수 있는 밀도 높은 특징 맵 적응 모듈(DFMA)을 설계하여 유용한 정보의 선택적 전달을 가능하게 한다.
• 표준 재구성 지표를 최적화하여 실제 및 시뮬레이션 데이터를 사용해 모든 네트워크 구성 요소를 종단 간 훈련한다.
• 정확도, 메모리, 추론 속도를 고려해 10단계 네트워크 아키텍처(K=10)를 사용한다.

Figure 1: Illustration of the video SCI (left) and our proposed method (right). Left : a sequence of video frames $\mathbf{x}$ are passed through dynamic masks $\boldsymbol{\Phi}$ and then compressed to the measurement $\mathbf{y}$ . Normalized measurement $\overline{\mathbf{y}}$ is acquired by elem

실험 결과

연구 질문

• RQ1 3D-CNN 사전 지식이 영상 스냅샷 압축 영상에서 시공간 상관관계를 모델링함으로써 재구성 품질을 크게 향상시킬 수 있는가?
• RQ2 인접한 단계 간의 밀도 높은 특징 맵 융합이 딥 언폴딩 네트워크에서 정보 손실을 줄이고 성능을 향상시키는가?
• RQ3 적응형 융합 메커니즘(DFMA)이 고정 또는 비적응형 특징 융합보다 딥 언폴딩 네트워크에서 우월한 성능을 내는가?
• RQ4 제안된 방법은 실제 노이즈가 많은 측정치에서 PSNR, 시각적 품질, 강인성 측면에서 최고 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 재구성 정확도와 계산 비용을 균형 잡는 데 최적의 네트워크 단계 수(K)는 얼마인가?

주요 결과

• DFM 융합 및 DFMA를 결합함으로써 기준 방법 대비 평균 0.45dB의 PSNR 향상을 달성하여 뚜렷한 성능 향상을 입증한다.
• 2D-CNN 기준 대비 3D-CNN 사전 지식이 평균 1.72dB의 재구성 품질 향상을 이끌어내어 시간적 모델링의 중요성을 확인한다.
• DFMA 모듈은 DFM 전용 기준 대비 추가로 0.32dB의 향상을 기록하여 적응형 특징 융합의 유용성을 입증한다.
• 실제 데이터(WaterBalloon, Dominoes)에서 고노이즈 조건에서도 최고 수준의 방법들보다 더 선명한 윤곽선과 더 적은 아티팩트를 생성한다.
• 모든 테스트 데이터셋에서 최고의 PSNR와 시각적 품질을 확보하며, 고속 운동을 포함한 도전적인 시퀀스에서도 뛰어난 성능을 보인다.
• K=10단계에서 성능과 계산 비용 간 최적의 트레이드오프를 달성하였으며, K를 더 늘려도 수익 감소 현상이 나타나므로 더 이상의 성능 향상이 어렵다.

Figure 2: Illustration of each phase in our proposed network. Data module solves Eqs. ( 10 )( 11 ) and prior module solves Eq. ( 13 ). $\mathbf{F}^{k-1}$ represents dense feature map from the $(k-1)$ -th phase and $\hat{\mathbf{F}}^{k-1}$ denotes its adaptive counterpart. The module of dense feature