[논문 리뷰] Plug-and-Play Algorithms for Video Snapshot Compressive Imaging

Xin Yuan, Yang Liu외 3명|arXiv (Cornell University)|2021. 01. 13.

Sparse and Compressive Sensing Techniques참고 문헌 75인용 수 7

한 줄 요약

이 논문은 영상 스냅샷 압축 영상(SCI)을 위한 반복적 재구성에 딥 네트워크 기반 이미지 노이즈 리듀싱 기술을 통합한 플러그 앤 플레이(PnP) 알고리즘—PnP-ADMM 및 PnP-GAP을 제안한다. 이는 초고화질(UHD) 및 고압축률 영상의 빠르고 유연하며 고품질의 재구성을 가능하게 하며, 실시간 성능(초고화질 기준 4분 이내)을 달성하고, DeSCI 및 GAP-TV와 같은 최신 기술들보다 속도와 품질 면에서 뛰어나며, 50배 압축률에서도 성능을 유지를 한다.

ABSTRACT

We consider the reconstruction problem of video snapshot compressive imaging (SCI), which captures high-speed videos using a low-speed 2D sensor (detector). The underlying principle of SCI is to modulate sequential high-speed frames with different masks and then these encoded frames are integrated into a snapshot on the sensor and thus the sensor can be of low-speed. On one hand, video SCI enjoys the advantages of low-bandwidth, low-power and low-cost. On the other hand, applying SCI to large-scale problems (HD or UHD videos) in our daily life is still challenging and one of the bottlenecks lies in the reconstruction algorithm. Exiting algorithms are either too slow (iterative optimization algorithms) or not flexible to the encoding process (deep learning based end-to-end networks). In this paper, we develop fast and flexible algorithms for SCI based on the plug-and-play (PnP) framework. In addition to the PnP-ADMM method, we further propose the PnP-GAP (generalized alternating projection) algorithm with a lower computational workload. We first employ the image deep denoising priors to show that PnP can recover a UHD color video with 30 frames from a snapshot measurement. Since videos have strong temporal correlation, by employing the video deep denoising priors, we achieve a significant improvement in the results. Furthermore, we extend the proposed PnP algorithms to the color SCI system using mosaic sensors, where each pixel only captures the red, green or blue channels. A joint reconstruction and demosaicing paradigm is developed for flexible and high quality reconstruction of color video SCI systems. Extensive results on both simulation and real datasets verify the superiority of our proposed algorithm.

연구 동기 및 목표

• HD, FHD, UHD 영상에 대해 특히 심각한 속도 저하 문제를 보이는 대규모 영상 스냅샷 압축 영상(SCI) 재구성의 핵심적 한계를 해결한다.
• 기존 방법의 한계를 극복한다: DeSCI와 같은 반복적 해법은 실시간 사용에 적합하지 않으며, 엔드 투 엔드 딥 러닝 모델은 감지 매트릭스가 변경될 경우 영향을 받는다.
• 계산 효율적이면서도 다양한 인코딩 패턴과 센서 구성에 적응 가능한 재구성 프레임워크를 개발한다.
• Bayer 모자이크 센서를 사용하는 컬러 SCI 시스템으로 PnP 프레임워크를 확장하여, 고품질 출력을 위한 동시 재구성 및 디모자이징을 가능하게 한다.

제안 방법

• 반복적 최적화 솔버인 ADMM 및 일반화된 교차 반복법(GAP)에 딥 이미지 노이즈 리듀서(FastDVDnet, FFDNet 등)를 통합하여 영상 SCI에 대한 플러그 앤 플레이(PnP) 프레임워크를 적용한다.
• 영상의 강한 시간적 상관관계를 활용하는 영상 전용 딥 노이즈 리듀서(FastDVDnet)를 사용하여 재구성 정밀도를 향상시킨다.
• SCI 재구성 문제를 제약 조건이 있는 최적화 문제로 공식화하며, 데이터 일관성 항은 측정값의 정확도를 보장하고, 노이즈 리듀서는 비선형 사전 정보로 기능한다.
• PnP-ADMM보다 계산 부담이 적은 경량 대안으로 PnP-GAP을 도입하여 계산 비용을 줄이면서도 높은 재구성 품질을 유지한다.
• 컬러 SCI에서 동시에 색상 복구와 노이즈 제거를 수행할 수 있는 통합 재구성 및 디모자이징 프레임워크를 개발한다.
• 재학습 없이 사전 학습된 딥 노이즈 리듀서를 활용하여 다양한 인코딩 매트릭스와 센서 유형에 즉각적으로 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 PnP 기반 알고리즘이 다양한 감지 매트릭스에 대응하면서도 초고화질 영상 SCI 데이터의 빠르고 고품질 재구성을 달성할 수 있는가?
• RQ2 영상 전용 딥 노이즈 리듀서(FastDVDnet 등)를 통합할 경우, 공간적 노이즈 리듀서에 비해 재구성 성능이 어떻게 향상되는가?
• RQ3 PnP-GAP은 PnP-ADMM에 비해 유의미하게 감소된 계산 비용으로 동일하거나 더 높은 재구성 품질을 달성할 수 있는가?
• RQ4 실제 고속 운동을 포함한 영상 SCI 시스템에서 고압축률(예: 50배) 조건에서도 PnP 기반 방법의 성능은 어떠한가?
• RQ5 Bayer 패턴 센서를 사용하는 컬러 영상 SCI에서 PnP 프레임워크는 동시 재구성 및 디모자이징 문제를 효과적으로 해결할 수 있는가?

주요 결과

• PnP-FFDNet는 단일 스냅샷으로 초고화질 컬러 영상(3840×2160×30)을 4분 이내에 재구성하여 DeSCI(3.5시간 이상)보다 빠르고 PSNR 및 시각적 품질 면에서 GAP-TV를 능가한다.
• 50배 압축률에서 PnP-FastDVDnet는 손동작과 같은 고속 운동을 명확하고 선명한 프레임으로 성공적으로 재구성하였고, 유사 데이터로 학습된 엔드 투 엔드 네트워크는 운동 복잡성으로 인해 실패하였다.
• 50배 압축률에서 512×512×50 영상 재구성에 대해 PnP-FFDNet는 2.4분이 소요되었고, DeSCI는 210분이 소요되어 87.5배의 속도 향상을 달성하였다.
• PnP-FastDVDnet는 DeSCI 및 PnP-FFDNet보다 더 선명한 윤곽선과 세밀한 디테일을 구현하였지만, 배경에 약간의 색상 오류가 발생하여 정밀도와 색상 정확성 사이의 상충 관계를 보였다.
• PnP-GAP는 PnP-ADMM 대비 계산 부담을 줄였으며, 수렴성과 고품질 결과를 유지하여 대규모 문제에 적합하다.
• 제안된 프레임워크는 대규모 영상 SCI에 대해 실시간이며 융통성 있는 재구성을 가능하게 하여 고속·저대역폭 영상 촬영 응용 분야에 실질적인 구현 가능성을 제공한다.