[논문 리뷰] Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing

Siming Zheng, Xiaoyu Yang외 1명|arXiv (Cornell University)|2022. 01. 15.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 새로운 마스크와 크기 규모에 대해 뛰어난 유연성을 지닌 상태최고성능(SOTA) 재구성 성능를 달성하는 비디오 압축 센싱을 위한 이단계 딥 언폴딩 네트워크를 제안한다. 기준 측정 프레임을 통합하고, 3D-CNN 기반의 가역 구조를 사용하며, 단계별 손실 함수를 사용한 단계별 훈련 전략을 적용함으로써, 단일 단계 방법 대비 최대 1.7dB의 PSNR 향상을 달성하고 색상 VCS에서 2.3dB 이상의 향상을 이루었으며, 추론 속도를 17배로 향상시키고 새로운 하드웨어 구성에 대해 제로샷 적응을 가능하게 한다.

ABSTRACT

We consider the reconstruction problem of video compressive sensing (VCS) under the deep unfolding/rolling structure. Yet, we aim to build a flexible and concise model using minimum stages. Different from existing deep unfolding networks used for inverse problems, where more stages are used for higher performance but without flexibility to different masks and scales, hereby we show that a 2-stage deep unfolding network can lead to the state-of-the-art (SOTA) results (with a 1.7dB gain in PSNR over the single stage model, RevSCI) in VCS. The proposed method possesses the properties of adaptation to new masks and ready to scale to large data without any additional training thanks to the advantages of deep unfolding. Furthermore, we extend the proposed model for color VCS to perform joint reconstruction and demosaicing. Experimental results demonstrate that our 2-stage model has also achieved SOTA on color VCS reconstruction, leading to a >2.3dB gain in PSNR over the previous SOTA algorithm based on plug-and-play framework, meanwhile speeds up the reconstruction by >17 times. In addition, we have found that our network is also flexible to the mask modulation and scale size for color VCS reconstruction so that a single trained network can be applied to different hardware systems. The code and models will be released to the public.

연구 동기 및 목표

• 최소한의 단계로 높은 재구성 정밀도를 유지하면서도 간결하고 해석 가능한 딥 언폴딩 모델을 개발하는 것.
• 재훈련 없이도 새로운 조절 마스크와 다양한 공간 해상도에 일반화할 수 있도록 모델의 유연성을 향상시키는 것.
• 딥 언폴딩 프레임워크에서 발생하는 메모리 및 추론 효율성의 한계를 가역적인 3D-CNN 아키텍처를 통해 극복하는 것.
• 각 단계에 기준 측정 프레임(RMF)을 융합하고 단계별 훈련 전략 및 단계별 손실 함수를 사용하여 성능을 향상시키는 것.
• 단일 훈련 및 배포 후 마스크에 특화된 정보를 네트워크에서 분리함으로써 다양한 하드웨어 시스템에 제로샷 배포를 가능하게 하는 것.

제안 방법

• 훈련 중 메모리 사용량을 줄이기 위해 3D-CNN 기반의 가역 네트워크를 사용하는 이단계 딥 언폴딩 프레임워크를 도입한다.
• 압축 측정값으로부터의 정보 활용도를 향상시키기 위해 각 단계에 기준 측정 프레임(RMF)을 융합한다.
• 각 단계가 독립적으로 최적화되도록 단계별 훈련 전략을 적용하여 수렴성과 정밀도를 향상시킨다.
• 각 단계의 출력을 최적의 신호 도메인으로 향상시키기 위해 단계별 손실 함수를 적용함으로써 가시성과 성능을 향상시킨다.
• 딥 언폴딩의 본질적인 구조를 활용하여 단일 훈련 및 배포 후 새로운 마스크와 크기 규모에 대해 제로샷 적응을 가능하게 한다.
• 통합 아키텍처를 사용해 재구성과 디모자이싱을 동시에 수행함으로써 프레임워크를 색상 VCS로 확장한다.

실험 결과

연구 질문

• RQ1 이중단계 딥 언폴딩 네트워크는 새로운 마스크와 크기 규모에 대해 뛰어난 유연성을 유지하면서도 비디오 압축 센싱에서 SOTA 성능을 달성할 수 있는가?
• RQ2 각 단계에 기준 측정 프레임을 융합하는 것이 딥 언폴딩 기반 VCS에서 재구성 정밀도를 크게 향상시키는가?
• RQ3 단계별 손실 함수를 사용하는 단계별 훈련 전략은 단계 수를 늘리지 않고도 모델의 유연성과 성능을 향상시킬 수 있는가?
• RQ4 실제 VCS 시스템에서 단일 훈련된 모델이 다양한 공간 해상도와 조절 패tern에 얼마나 잘 일반화되는가?
• RQ5 기존의 플러그 앤 플레이 및 메타러닝 기반 접근법과 비교해 본 논문의 방법은 회색조 및 색상 VCS에서 정확도와 속도 면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 이단계 모델은 그레이스케일 VCS에서 단일 단계 RevSCI 기준선 대비 최대 1.7dB의 PSNR 향상을 달성하여 새로운 SOTA를 수립하였다.
• 색상 VCS에서는 플러그 앤 플레이 프레임워크에 기반한 이전 SOTA 방법 대비 2.3dB 이상의 PSNR 향상을 기록하였고, 추론 속도는 17배 향상되었다.
• 재훈련 없이도 다양한 마스크, 포함 미사용된 마스크까지도 안정적인 성능을 유지하며, 마스크 전환 시 PSNR가 0.2dB 이내로 떨어지는 것으로 확인되었다.
• 256×256 데이터로 훈련된 모델을 사용해 최대 1000×1000 공간 해상도의 대규모 데이터에 대해 일반화 가능하여, 이러한 크기의 프레임에 대한 학습 기반 재구성의 첫 사례를 제공하였다.
• 절단 실험 결과, RMF 융합, 단계별 훈련, 단계별 손실 각각이 각각 0.6dB, 0.4dB, 0.2dB의 PSNR 향상 기여를 확인하였다.
• 실제 데이터(휠 및 해상도 차트)에서 고노이즈 및 대규모 조건에서도 GAP-TV, PnP-FFDNet, MetaSCI보다 더 선명한 윤곽선과 더 잘 보존된 세부 정보를 생성하였다.