[論文レビュー] Plug-and-Play Algorithms for Large-scale Snapshot Compressive Imaging

Xin Yuan, Liu Yang+2 more|arXiv (Cornell University)|Mar 30, 2020

Sparse and Compressive Sensing Techniques参考文献 62被引用数 16

ひとこと要約

本稿では、FFDNetのような深層ノイズ除去器をスナップショートコpressiveイメージング（SCI）に統合することで、高速で柔軟かつ高品質な大規模ビデオ再構成を実現する、プラグアンドプレイ（PnP）アルゴリズム—PnP-ADMMおよびPnP-GAP—を提案する。1枚の2次元スナップショット測定から、UHDビデオ（3840×1644×48）を1GPUで60分未塔で再構成し、PSNR >30 dBを達成。従来手法に比べて速度とスケーラビリティに優れ、圧縮比や実世界データに対しても頑健である。

ABSTRACT

Snapshot compressive imaging (SCI) aims to capture the high-dimensional (usually 3D) images using a 2D sensor (detector) in a single snapshot. Though enjoying the advantages of low-bandwidth, low-power and low-cost, applying SCI to large-scale problems (HD or UHD videos) in our daily life is still challenging. The bottleneck lies in the reconstruction algorithms; they are either too slow (iterative optimization algorithms) or not flexible to the encoding process (deep learning based end-to-end networks). In this paper, we develop fast and flexible algorithms for SCI based on the plug-and-play (PnP) framework. In addition to the widely used PnP-ADMM method, we further propose the PnP-GAP (generalized alternating projection) algorithm with a lower computational workload and prove the convergence of PnP-GAP under the SCI hardware constraints. By employing deep denoising priors, we first time show that PnP can recover a UHD color video ($3840 imes 1644 imes 48$ with PNSR above 30dB) from a snapshot 2D measurement. Extensive results on both simulation and real datasets verify the superiority of our proposed algorithm. The code is available at https://github.com/liuyang12/PnP-SCI.

研究の動機と目的

• 大規模スナップショートコpressiveイメージング（SCI）再構成における、速度、正確性、柔軟性の三重苦を解決すること。
• 反復的ソルバー（例：DeSCI）の遅さや、新しい感度行列に対して再トレーニングが必要な固定された深層学習エンドツーエンドネットワークの制限を克服すること。
• HD、FHD、UHDビデオ撮影などの実世界応用におけるSCIの実用的導入を可能にするために、再構成時間を大幅に短縮すること。
• SCIのハードウェア制約と有界なノイズ除去器を前提とした条件下で、提案されたPnP-GAPアルゴリズムの収束を示すこと。
• 再トレーニングが不要な多様なノイズ除去器をサポートする柔軟で即挿し可能なフレームワークを確立し、異なる圧縮比や撮影条件に適応可能とする。

提案手法

• 境界付きノイズ除去器を交替方向乗数法（ADMM）および一般化交替射影（GAP）アルゴリズムに統合することで、PnPフレームワークをSCIに適応する。
• PnP-ADMMの計算負荷を軽減し、適切な仮定の下で収束を保証する、より軽量な代替手法としてPnP-GAPを提案する。
• 高速で柔軟なFFDNetノイズ除去器をPnP-GAPに統合し、高解像度ビデオデータのリアルタイム再構成を可能にする。
• SCIの感度モデルとハードウェア制約の下で、PnP-GAPのグローバル収束を証明し、元の証明における欠陥を是正する。
• 1枚の2次元スナップショット測定から、単一のGPUと標準的な計算ハードウェアを用いて、UHDカラー・ビデオ（3840×1644×48）を再構成する。
• 物理的SCIカメラで撮影されたシミュレーションおよび実データセットを用いて、高速度およびスペクトルビデオの状況を含め、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 PnPフレームワークは、大規模スナップショートコpressiveイメージングに効果的に適応可能であり、高い再構成品質と低い計算コストを両立できるか？
• RQ2 SCIのハードウェア制約および感度行列構造の下で、PnP-GAPは収束するのか？ また、計算効率においてPnP-ADMMを上回るのか？
• RQ3 FFDNetのような深層ノイズ除去器は、再トレーニングなしにPnP-GAPに効果的に統合可能であり、UHDビデオの高速で柔軟かつ高品質な再構成を可能にするか？
• RQ4 提案されたPnP-SCIフレームワークは、最先端手法と比較して、異なる圧縮比や実世界の撮影条件でも優れた性能を示すか？
• RQ5 PnPベースの手法を用いて、1枚のスナップショットからPSNR >30 dBを達成するUHD（3840×1644×48）カラー・ビデオを実用的な時間内に再構成することは可能か？

主な発見

• PnP-FFDNetは、1GPUを用いて単一のスナップショットからUHDカラー・ビデオ（3840×1644×48）を再構成し、PSNRが30 dBを超える結果を約55分で達成した。
• 実データにおいて、512×512×22のビデオを再構成する際、PnP-FFDNetはGAP-TVの5倍以上、DeSCIの100倍以上高速に処理を完了した（13秒未塔）。
• 適切な仮定の下で、PnP-GAPはグローバルに収束し、PnP-ADMMの理論的裏付けが強く、効率的な代替手法を提供する。
• PnP-FFDNetは、圧縮比8から48の範囲で高い再構成品質を維持し、PSNRおよびSSIMの両面で他のPnP-SCI手法を上回った。
• 実データセット（例：チェッパーウィール、ハンマー、UCF）において、PnP-FFDNetはDeSCIと同等またはそれ以上の結果を出力したが、所要時間は1/100以下であり、1100×850×10のビデオで12.5秒で再構成完了。
• 本研究で提案されたフレームワークにより、SCIを用いたUHDビデオ再構成の初の成功例が達成され、消費者用および高速撮影応用への実用可能性が示された。