[논문 리뷰] Plug-and-Play Algorithms for Large-scale Snapshot Compressive Imaging

Xin Yuan, Liu Yang외 2명|arXiv (Cornell University)|2020. 03. 30.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 16

한 줄 요약

이 논문은 FFDNet과 같은 딥 데노이저를 스냅샷 압축 영상(Snapshot Compressive Imaging, SCI)에 통합하여 빠르고 유연하며 고성능인 대규모 영상 재구성에 적합한 플러그 앤 플레이(PnP) 알고리즘—PnP-ADMM 및 PnP-GAP—을 제안한다. 단일 GPU를 사용하여 UHD 영상 재구성(3840×1644×48)을 60분 이내로 수행하며 PSNR >30 dB를 달성하며, 기존 방법 대비 속도와 확장성에서 뛰어나면서도 압축 비율과 실제 데이터에 대해 강건성을 유지한다.

ABSTRACT

Snapshot compressive imaging (SCI) aims to capture the high-dimensional (usually 3D) images using a 2D sensor (detector) in a single snapshot. Though enjoying the advantages of low-bandwidth, low-power and low-cost, applying SCI to large-scale problems (HD or UHD videos) in our daily life is still challenging. The bottleneck lies in the reconstruction algorithms; they are either too slow (iterative optimization algorithms) or not flexible to the encoding process (deep learning based end-to-end networks). In this paper, we develop fast and flexible algorithms for SCI based on the plug-and-play (PnP) framework. In addition to the widely used PnP-ADMM method, we further propose the PnP-GAP (generalized alternating projection) algorithm with a lower computational workload and prove the convergence of PnP-GAP under the SCI hardware constraints. By employing deep denoising priors, we first time show that PnP can recover a UHD color video ($3840 imes 1644 imes 48$ with PNSR above 30dB) from a snapshot 2D measurement. Extensive results on both simulation and real datasets verify the superiority of our proposed algorithm. The code is available at https://github.com/liuyang12/PnP-SCI.

연구 동기 및 목표

• 대규모 스냅샷 압축 영상(Sci) 재구성에서 속도, 정확도, 유연성의 삼중어려움을 해결한다.
• 반복적 해법(예: DeSCI)의 느린 속도 및 새로운 센싱 행렬에 대해 재학습이 필요한 고정된 딥러닝 엔드 투 엔드 네트워크의 한계를 극복한다.
• HD, Full HD, UHD 영상 촬영과 같은 실세계 응용 분야에서의 SCI 실용적 구현을 가능하게 하기 위해 재구성 시간을 극적으로 단축시킨다.
• SCI 하드웨어 제약 조건과 유한한 데노이저를 고려할 때 제안된 PnP-GAP 알고리즘의 수렴성을 입증한다.
• 재학습 없이 다양한 데노이저를 지원하는 탄력적이고 플러그 앤 플레이 가능한 프레임워크를 구축하여 다양한 압축 비율과 영상 조건에 적응 가능하게 한다.

제안 방법

• 제한된 데노이저를 ADMM(보조 승수법) 및 일반화된 교차 반복법(GAP) 알고리즘에 통합하여 PnP 프레임워크를 SCI에 적응시킨다.
• PnP-ADMM 대비 계산 부담을 줄이며 수렴성을 유지하는 더 가벼운 대안으로 PnP-GAP을 제안한다.
• 실시간 고해상도 영상 재구성을 가능하게 하기 위해 빠르고 탄력적인 FFDNet 데노이저를 PnP-GAP에 통합한다.
• SCI 센싱 모델과 하드웨어 제약 조건 하에서 PnP-GAP의 전역 수렴성을 증명하며, 원래 증명의 결함을 수정한다.
• 단일 GPU와 표준 컴퓨팅 하드웨어를 사용하여 단일 2D 스냅샷 측정값으로 UHD 컬러 영상(3840×1644×48)을 재구성한다.
• 물리적 SCI 카메라로 촬영한 시뮬레이션 및 실재 데이터셋을 기반으로 성능을 평가하며, 고속 및 스펙트럼 영상 시나리오를 포함한다.

실험 결과

연구 질문

• RQ1 PnP 프레임워크는 대규모 스냅샷 압축 영상에 효과적으로 적용되어 고성능 재구성과 낮은 계산 비용을 동시에 달성할 수 있는가?
• RQ2 SCI 하드웨어 제약 조건과 센싱 행렬의 구조 하에서 PnP-GAP는 수렴하는가? 그리고 계산 효율성 면에서 PnP-ADMM를 능가할 수 있는가?
• RQ3 FFDNet과 같은 딥 데노이저는 PnP-GAP에 성공적으로 통합되어 재학습 없이도 빠르고 탄력적이며 고성능의 UHD 영상 재구성 기능을 제공할 수 있는가?
• RQ4 제안된 PnP-SCI 프레임워크는 최신 기술 대비 다양한 압축 비율과 실세계 영상 조건에서 어떻게 성능을 발휘하는가?
• RQ5 PnP 기반 방법을 사용하여 PSNR >30 dB를 확보하면서도 실용적인 시간 내에 UHD(3840×1644×48) 컬러 영상을 단일 스냅샷에서 재구성하는 것은 가능한가?

주요 결과

• PnP-FFDNet은 단일 GPU를 사용하여 단일 스냅샷에서 UHD 컬러 영상(3840×1644×48)을 약 55분 내에 재구성하며 PSNR가 30 dB 이상을 달성한다.
• 실재 데이터에서 512×512×22 영상 재구성 시 PnP-FFDNet은 GAP-TV 대비 5배 이상 빠르고 DeSCI 대비 100배 이상 빠른 속도를 기록한다.
• 적절한 가정 하에 PnP-GAP는 전역 수렴성을 확보하며, PnP-ADMM에 비해 이론적으로 타당하고 효율적인 대안이 된다.
• 압축 비율이 8에서 48에 이르는 범위에서도 PnP-FFDNet은 다른 PnP-SCI 방법 대비 PSNR 및 SSIM 모두에서 뛰어난 재구성 품질을 유지한다.
• 실재 데이터셋(예: 헬리컬 휠, 망치, UCF)에서 PnP-FFDNet은 DeSCI와 유사하거나 그 이상의 결과를 내놓지만, 소요 시간은 훨씬 적게(1100×850×10 영상 기준 12.5초) 소요된다.
• 제안된 프레임워크는 SCI를 활용한 UHD 영상 재구성의 첫 성공 사례를 보여주며, 소비자 및 고속 영상 응용 분야에서의 실용성 가능성을 입증한다.