[論文レビュー] Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing

Siming Zheng, Xiaoyu Yang+1 more|arXiv (Cornell University)|Jan 15, 2022

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

本論文は、新しいマスクやスケールサイズに対応する優れた柔軟性を備えた動画圧縮センシング（VCS）のための2段階的ディープアンフォールディングネットワークを提案する。参照測定フレームを統合し、3次元畳み込みニューラルネットワーク（3D-CNN）に基づく可逆構造を採用し、段階ごとの損失関数を用いた段階的訓練を実施することで、単一段階手法に比べて最大1.7dBのPSNR向上を達成。カラーVCSでは2.3dB以上の向上を実現するとともに、推論速度を17倍に高速化し、新しいハードウェア構成へのゼロショット適応を可能にした。

ABSTRACT

We consider the reconstruction problem of video compressive sensing (VCS) under the deep unfolding/rolling structure. Yet, we aim to build a flexible and concise model using minimum stages. Different from existing deep unfolding networks used for inverse problems, where more stages are used for higher performance but without flexibility to different masks and scales, hereby we show that a 2-stage deep unfolding network can lead to the state-of-the-art (SOTA) results (with a 1.7dB gain in PSNR over the single stage model, RevSCI) in VCS. The proposed method possesses the properties of adaptation to new masks and ready to scale to large data without any additional training thanks to the advantages of deep unfolding. Furthermore, we extend the proposed model for color VCS to perform joint reconstruction and demosaicing. Experimental results demonstrate that our 2-stage model has also achieved SOTA on color VCS reconstruction, leading to a >2.3dB gain in PSNR over the previous SOTA algorithm based on plug-and-play framework, meanwhile speeds up the reconstruction by >17 times. In addition, we have found that our network is also flexible to the mask modulation and scale size for color VCS reconstruction so that a single trained network can be applied to different hardware systems. The code and models will be released to the public.

研究の動機と目的

• 最小限の段階数で高い再構成精度を維持しつつ、動画圧縮センシングのための簡潔で解釈可能なディープアンフォールディングモデルを開発すること。
• 再トレーニングなしで新しい変調マスクや異なる空間スケールに一般化できる柔軟性を向上させること。
• 可逆な3次元畳み込みニューラルネットワーク（3D-CNN）アーキテクチャを活用して、ディープアンフォールディングフレームワークにおけるメモリおよび推論効率のボトルネックを克服すること。
• 各段階に参照測定フレーム（RMF）を統合し、段階的訓練戦略と段階ごとの損失関数を用いることで性能を向上させること。
• ネットワークからマスク固有の情報を分離することで、一度のトレーニング・デプロイ後、異なるハードウェアシステムへのゼロショット展開を可能にすること。

提案手法

• 3次元畳み込みニューラルネットワーク（3D-CNN）に基づく可逆ネットワークを用いた2段階的ディープアンフォールディングフレームワークを導入し、トレーニング中のメモリ使用量を削減する。
• 圧縮測定から得られる情報をより効果的に活用するため、各段階に参照測定フレーム（RMF）を統合する。
• 各段階を独立して最適化することで収束性と再構成精度を向上させる、段階的訓練戦略を採用する。
• 各段階の出力を最適な信号ドメインに近づけるために段階ごとの損失関数を適用し、解釈可能性と性能を向上させる。
• ディープアンフォールディングの固有構造を活用して、一度のトレーニング・デプロイ後、新しいマスクやスケールサイズへのゼロショット適応を可能にする。
• 統一されたアーキテクチャを用いて再構成とデモザイキングを同時に実行することで、カラーVCSへのフレームワークの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 2段階的ディープアンフォールディングネットワークは、新しいマスクやスケールサイズに対応する柔軟性を維持しながら、動画圧縮センシングでSOTA性能を達成できるか？
• RQ2 各段階に参照測定フレーム（RMF）を統合することで、ディープアンフォールディングベースのVCSにおける再構成精度が顕著に向上するか？
• RQ3 段階ごとの損失関数を用いた段階的訓練戦略により、段階数を増やさずにモデルの柔軟性と性能が向上するか？
• RQ4 実世界のVCSシステムにおいて、1つのトレーニング済みモデルが異なる空間解像度や変調パターンにどの程度一般化できるか？
• RQ5 グレースケールおよびカラーVCSにおいて、本手法は従来のプラグアンドプレイおよびメタラーニングベースの手法と比較して、速度と精度の点で優れているか？

主な発見

• 提案された2段階モデルは、グレースケールVCSにおいて、単一段階のRevSCIベースラインに比べて最大1.7dBのPSNR向上を達成し、新たなSOTAを樹立した。
• カラーVCSでは、プラグアンドプレイフレームワークに基づく従来のSOTA手法に比べ、2.3dB以上のPSNR向上を達成し、推論速度が17倍に高速化された。
• 再トレーニングなしで、新しいマスク（未学習のマスクを含む）に切り替えても、PSNR低下がわずか0.2dBにとどまり、安定した性能を維持した。
• 256×256で学習したモデルを用いて、1000×1000の大きな空間サイズのデータに対しても一般化可能であり、大規模フレームの学習ベース再構成の実現を世界で初めて達成した。
• アブレーションスタディの結果、RMF統合、段階的訓練、段階ごとの損失関数それぞれが、0.6dB、0.4dB、0.2dBのPSNR向上に寄与していることが確認された。
• 実世界のデータ（WheelとResolution Chart）において、GAP-TV、PnP-FFDNet、MetaSCIと比較して、高いノイズ耐性および大規模条件下でも明確なエッジと良好に保持された詳細を再構成した。