[論文レビュー] Plug-and-Play Algorithms for Video Snapshot Compressive Imaging

Xin Yuan, Yang Liu+3 more|arXiv (Cornell University)|Jan 13, 2021

Sparse and Compressive Sensing Techniques参考文献 75被引用数 7

ひとこと要約

本稿では、深層画像ノイズ除去器を反復的再構成に統合する、プラグアンドプレイ（PnP）アルゴリズム—PnP-ADMMおよびPnP-GAP—を提案する。これにより、UHDおよび高圧縮レートの動画に対する高速で柔軟かつ高品質な再構成が可能になる。本手法はリアルタイム性能（UHDでは4分未塔）を達成し、DeSCI や GAP-TV といった最先端手法よりも速度と品質で優れる。50倍の圧縮レートでも同様の優位性を示す。

ABSTRACT

We consider the reconstruction problem of video snapshot compressive imaging (SCI), which captures high-speed videos using a low-speed 2D sensor (detector). The underlying principle of SCI is to modulate sequential high-speed frames with different masks and then these encoded frames are integrated into a snapshot on the sensor and thus the sensor can be of low-speed. On one hand, video SCI enjoys the advantages of low-bandwidth, low-power and low-cost. On the other hand, applying SCI to large-scale problems (HD or UHD videos) in our daily life is still challenging and one of the bottlenecks lies in the reconstruction algorithm. Exiting algorithms are either too slow (iterative optimization algorithms) or not flexible to the encoding process (deep learning based end-to-end networks). In this paper, we develop fast and flexible algorithms for SCI based on the plug-and-play (PnP) framework. In addition to the PnP-ADMM method, we further propose the PnP-GAP (generalized alternating projection) algorithm with a lower computational workload. We first employ the image deep denoising priors to show that PnP can recover a UHD color video with 30 frames from a snapshot measurement. Since videos have strong temporal correlation, by employing the video deep denoising priors, we achieve a significant improvement in the results. Furthermore, we extend the proposed PnP algorithms to the color SCI system using mosaic sensors, where each pixel only captures the red, green or blue channels. A joint reconstruction and demosaicing paradigm is developed for flexible and high quality reconstruction of color video SCI systems. Extensive results on both simulation and real datasets verify the superiority of our proposed algorithm.

研究の動機と目的

• HD、FHD、UHD動画における大規模な動画スナップショット圧縮イメージング（SCI）の再構成が遅いという深刻なボトル neck を解決すること。
• 既存手法の限界を克服すること：反復的ソルバー（例：DeSCI）はリアルタイム利用に不適切なほど遅く、エンドツーエンドの深層学習モデルはセンシング行列が変化する際に柔軟性に欠ける。
• 計算効率が高く、さまざまな符号化パターンやセンサ構成に適応可能な再構成フレームワークを開発すること。
• Bayerモザイクセンサを用いたカラーSCIシステムにPnPフレームワークを拡張し、高品質な出力が得られる統合的再構成とデモザイキングを可能にすること。

提案手法

• PnPフレームワークを動画SCIに適応させ、深層画像ノイズ除去器（例：FFDNet、FastDVDnet）を交替方向乗数法（ADMM）および一般化交互投影（GAP）ソルバーに統合する。
• 動画の強い時間的相関を活用する動画固有の深層ノイズ除去器（FastDVDnet）を用い、再構成の忠実度を向上させる。
• SCI再構成を制約付き最適化問題として定式化し、測定値の整合性を保証するデータ適合項と、ノイズ除去器を非線形事前分布として用いる。
• PnP-ADMMの計算負荷を軽減する代替手法としてPnP-GAPを導入し、高い再構成品質を維持しながら計算コストを削減する。
• カラーSCIにおいて、PnPフレームワークが同時に色回復とノイズ除去を処理できる統合的再構成とデモザイキングパラダイムを構築する。
• 再訓練を必要としない事前学習済みの深層ノイズ除去器を活用し、異なる符号化行列やセンサタイプに即座に展開可能にする。

実験結果

リサーチクエスチョン

• RQ1 PnPベースのアルゴリズムは、さまざまなセンシング行列に対応可能な柔軟性を保ちながら、UHD動画SCIデータの高速かつ高品質な再構成を達成できるか？
• RQ2 動画固有の深層ノイズ除去器（例：FastDVDnet）を統合することで、空間のみのノイズ除去器と比較して再構成性能がどのように向上するか？
• RQ3 PnP-GAPは、計算コストを著しく削減しつつ、PnP-ADMMと同等またはそれ以上の再構成品質を達成できるか？
• RQ4 実世界の動画SCIシステムにおいて、高スルーレートの運動を伴う高圧縮レート（例：50倍）下でも、PnPベースの手法はどれほど高い性能を示すか？
• RQ5 Bayerパターンセンサを用いたカラー動画SCIにおいて、PnPフレームワークは統合的再構成とデモザイキング問題を効果的に処理できるか？

主な発見

• PnP-FFDNetは、1枚のスナップショートからUHDカラー動画（3840×2160×30）を4分未塔で再構成し、DeSCI（3.5時間以上）を大きく上回り、PSNRおよび視覚的品質でもGAP-TVを上回る。
• 50倍圧縮レート下でも、PnP-FastDVDnetは高速運動（例：手の動き）を明瞭でシャープなフレームとして再構成に成功する。一方、類似データで学習されたエンドツーエンドネットワークは、運動の複雑さのため失敗する。
• PnP-FFDNetは、512×512×50の動画を50倍圧縮で2.4分で再構成可能であるのに対し、DeSCIは210分を要する。これにより、87.5倍の高速化が達成された。
• PnP-FastDVDnetは、DeSCI や PnP-FFDNet よりもシャープなエッジと繊細なディテールを再構成するが、背景にわずかな色ずれが生じる。これは忠実度と色精度のトレードオフを示している。
• PnP-GAPは、PnP-ADMMと同等の収束性と高品質な結果を維持しながら、計算負荷を低減しており、大規模問題に適した。
• 提案されたフレームワークにより、大規模な動画SCIにおけるリアルタイムで柔軟な再構成が可能となり、高速かつ低帯域のイメージング応用への実用的展開を可能にする。