[論文レビュー] Deep Equilibrium Models for Video Snapshot Compressive Imaging

Yaping Zhao, Siming Zheng+1 more|arXiv (Cornell University)|Jan 18, 2022

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

本稿では、非拡張作用素を学習し、固定点を解析的に計算することで、定常メモリで理論的に無限大の深さを持つネットワークを可能にする、動画スナップショートコンpressive imaging（SCI）のためのDeep Equilibrium Models（DEQ）を提案する。この手法は、ハイパーパrameterのチューニングなしで安定的かつ高精度な再構成を実現し、シミュレーションおよび実世界のデータにおいて、既存のRNNおよびPnPベースのモデルを上回る性能を発揮する。

ABSTRACT

The ability of snapshot compressive imaging (SCI) systems to efficiently capture high-dimensional (HD) data has led to an inverse problem, which consists of recovering the HD signal from the compressed and noisy measurement. While reconstruction algorithms grow fast to solve it with the recent advances of deep learning, the fundamental issue of accurate and stable recovery remains. To this end, we propose deep equilibrium models (DEQ) for video SCI, fusing data-driven regularization and stable convergence in a theoretically sound manner. Each equilibrium model implicitly learns a nonexpansive operator and analytically computes the fixed point, thus enabling unlimited iterative steps and infinite network depth with only a constant memory requirement in training and testing. Specifically, we demonstrate how DEQ can be applied to two existing models for video SCI reconstruction: recurrent neural networks (RNN) and Plug-and-Play (PnP) algorithms. On a variety of datasets and real data, both quantitative and qualitative evaluations of our results demonstrate the effectiveness and stability of our proposed method. The code and models are available at: https://github.com/IndigoPurple/DEQSCI .

研究の動機と目的

• 深く学習ベースの動画スナップショートコンpressive imaging（SCI）再構成手法における不安定性とメモリ非効率性を解消すること。
• 固定深さのネットワークや反復アルゴリズムの限界を克服し、手動によるハイパーパrameterチューニングを必要としないこと。
• トレーニングおよび推論時に定常メモリ使用量を維持しながら、理論的に無限大の最適化ステップを実現すること。
• 均衡ネットワーク内に非拡張作用素を埋め込むことで、固定点の収束を保証し、安定的かつ高品質な再構成を実現すること。
• 既存のSCIフレームワーク（RNNおよびプラグアンドプレイ：PnP）にDEQを統合し、アーキテクチャの再設計なしに性能を向上させること。

提案手法

• 再構成プロセスを学習した非拡張作用素の固定点反復としてモデル化することで、DEQを動画SCIに適用する。
• ニューラルネットワークを用いて均衡作用素を暗黙的に定義し、明示的な深さの代わりに反復的固定点計算を実現する。
• 陰関数定理を用いて固定点を解析的に計算することで、トレーニングおよび推論時に無限大の深さと定常メモリを実現する。
• 2つの既存のSCIフレームワーク（再帰的ニューラルネットワーク：DE-RNN、GAPノイズリダクションを用いたPnP：DE-GAP）にDEQを統合する。
• 固定点の安定性を満たす理論的条件を満たすよう、ニューラルネットワークが非拡張作用素を生成するようにトレーニングすることで収束を保証する。
• 正確な勾配を用いたトレーニングを実施し、将来的には不正確な勾配への拡張によりトレーニング効率を向上させる可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 深層均衡モデルは、無制限の反復ステップと定常メモリを備えた安定的かつ正確な動画SCI再構成を可能にするか？
• RQ2 DEQは、既存のRNNベースおよびPnPベースのSCI再構成フレームワークの安定性と性能をどのように向上させるか？
• RQ3 DEQは、反復的SCI再構成においてハイパーパrameterチューニングの必要性を排除しつつ、再構成品質を維持または向上させられるか？
• RQ4 DEQにおける固定点計算は、有限深さの標準的反復ネットワークと比較して、より優れた収束特性を示すか？
• RQ5 DEQベースの手法は、動画SCIにおける実世界のノイズの多い測定値にも一般化できるか？

主な発見

• 提案されたDE-RNNおよびDE-GAPモデルは、反復回数の増加に伴い安定した収束を示し、再構成品質が時間経過とともに向上し、安定化する。
• Water BalloonおよびChopper Wheelといった実世界データセットにおいて、DE-GAPはGAP-TV、DeSCI、PnP-FFDNetを上回り、アーティファクトとノイズを低減しながら構造的詳細を保持する。
• DE-GAPモデルの処理時間は1回の測定あたり1.90秒であり、DeSCI（6180秒）に比べて顕著に高速で、他の最先端手法と同等の性能を示す。
• DE-RNNおよびDE-GAPは、シミュレーションデータセットにおいてベースラインのRNNおよびPnP手法と比較して、高いPSNRおよびSSIM値を達成し、優れた定量的性能を示す。
• 実測値における高いノイズレベル下でも、高い再構成品質を維持しており、ロバストネスと一般化能力を示している。
• 予備実験では、不正確な勾配を用いることで逆伝播が1.3～1.5倍高速化されることが示され、将来的なトレーニング効率の向上に向けた可能性が示唆される。