[論文レビュー] Dense Deep Unfolding Network with 3D-CNN Prior for Snapshot Compressive Imaging

Zhuoyuan Wu, Jian Zhang+1 more|arXiv (Cornell University)|Sep 14, 2021

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、スナップショート圧縮イメージングのための3D-CNN事前分布を備えた密度的ディープアンフォールディングネットワークを提案する。半二次分割（HQS）反復処理をディープネットワークにアンフォールディングし、空間的・時間的相関をモデル化するための3D-CNNを統合する。隣接する段階間の情報損失を低減するために、密度的特徴マップ統合と自己適応的統合モジュールを導入し、実データにおいても高いロバスト性を示しながら、最先端性能（PSNR向上0.45dB）を達成する。

ABSTRACT

Snapshot compressive imaging (SCI) aims to record three-dimensional signals via a two-dimensional camera. For the sake of building a fast and accurate SCI recovery algorithm, we incorporate the interpretability of model-based methods and the speed of learning-based ones and present a novel dense deep unfolding network (DUN) with 3D-CNN prior for SCI, where each phase is unrolled from an iteration of Half-Quadratic Splitting (HQS). To better exploit the spatial-temporal correlation among frames and address the problem of information loss between adjacent phases in existing DUNs, we propose to adopt the 3D-CNN prior in our proximal mapping module and develop a novel dense feature map (DFM) strategy, respectively. Besides, in order to promote network robustness, we further propose a dense feature map adaption (DFMA) module to allow inter-phase information to fuse adaptively. All the parameters are learned in an end-to-end fashion. Extensive experiments on simulation data and real data verify the superiority of our method. The source code is available at https://github.com/jianzhangcs/SCI3D.

研究の動機と目的

• モデルベース手法の計算複雑性の制限と、学習ベース手法の解釈可能性および一般化性能の制限を是正する。
• 動画フレーム間の空間的・時間的相関を活用することで、スナップショート圧縮イメージングにおける再構成品質を向上させる。
• 特徴マップのアップサンプリング／ダウンサンプリングに起因する隣接段階間の情報損失を低減する。
• 自己適応的で学習可能な統合メカニズムを用いて、段階間の特徴伝搬を強化する。
• エンドツーエンドで学習可能で解釈可能かつ高性能であり、実世界への応用性を有するSCI再構成を達成する。

提案手法

• 半二次分割（HQS）アルゴリズムの各反復処理をネットワーク段階にアンフォールディングし、モデルベース最適化とディープラーニングを統合する。
• 近似マッピングモジュールに3D-CNN事前分布を統合し、動画シーケンス内の空間的・時間的相関を明示的にモデル化する。
• 隣接する段階からの特徴マップを連結する密度的特徴マップ（DFM）統合戦略を提案し、特徴伝搬中の情報損失を低減する。
• 段階間の特徴を学習可能な重みで統合する密度的特徴マップ適応（DFMA）モジュールを設計し、有用な情報の選択的伝達を可能にする。
• 標準の再構成評価指標を最適化するように、実データおよびシミュレーテッドデータを用いて、すべてのネットワーク部品をエンドツーエンドで学習する。
• 性能、メモリ使用量、推論速度のバランスを考慮し、10段階のネットワークアーキテクチャ（K=10）を採用する。

Figure 1: Illustration of the video SCI (left) and our proposed method (right). Left : a sequence of video frames $\mathbf{x}$ are passed through dynamic masks $\boldsymbol{\Phi}$ and then compressed to the measurement $\mathbf{y}$ . Normalized measurement $\overline{\mathbf{y}}$ is acquired by elem

実験結果

リサーチクエスチョン

• RQ1 3D-CNN事前分布を用いることで、空間的・時間的相関をモデル化し、動画スナップショート圧縮イメージングにおける再構成品質を顕著に向上させることができるか？
• RQ2 隣接する段階間の密度的特徴マップ統合により、ディープアンフォールディングネットワークにおける情報損失が低減され、性能が向上するか？
• RQ3 自己適応的統合メカニズム（DFMA）は、固定または非自己適応的特徴統合を上回る性能を発揮するか？
• RQ4 本手法は、ノイズの多い実データ測定値において、最先端手法と比較してPSNR、視覚的品質、ロバスト性の面で優れているか？
• RQ5 再構成精度と計算コストのバランスを最適化するためのネットワーク段階数（K）の最適値は何か？

主な発見

• DFM統合とDFMAの組み合わせにより、ベースライン手法比で平均0.45dBのPSNR向上を達成し、顕著な性能向上を示した。
• 3D-CNN事前分布は、2D-CNNベースライン比で平均1.72dBの再構成品質向上をもたらし、時間的モデリングの重要性を裏付けた。
• DFMAモジュールは、DFMオンativeベースライン比で追加で0.32dBの向上を示し、自己適応的特徴統合の利点を実証した。
• 実データ（WaterBalloon, Dominoes）において、高ノイズ下でも最先端手法と比較して輪郭が明瞭で、アーチファクトが少なく、優れた性能を発揮した。
• 全テストデータセットにおいて、PSNRと視覚的品質の両面で最高の結果を達成した。特に高運動の困難なシーケンスに対しても優れた性能を示した。
• K=10段階の構成により、性能と計算コストの最適なトレードオフが達成された。Kをさらに増加させても、利得は顕著に減少した。

Figure 2: Illustration of each phase in our proposed network. Data module solves Eqs. ( 10 )( 11 ) and prior module solves Eq. ( 13 ). $\mathbf{F}^{k-1}$ represents dense feature map from the $(k-1)$ -th phase and $\hat{\mathbf{F}}^{k-1}$ denotes its adaptive counterpart. The module of dense feature