[論文レビュー] GAP-net for Snapshot Compressive Imaging

Ziyi Meng, Shirin Jalali+1 more|arXiv (Cornell University)|Dec 13, 2020

Sparse and Compressive Sensing Techniques参考文献 55被引用数 74

ひとこと要約

GAP-net は、スナップショット圧縮イメージングの一般化交互射影フレームワークを、各段階に学習可能な CNN 除噪器を組み込むことで展開し、収束保証を伴う競争力の高いビデオおよびスペクトル SCI の性能を達成します。

ABSTRACT

Snapshot compressive imaging (SCI) systems aim to capture high-dimensional ($\ge3$D) images in a single shot using 2D detectors. SCI devices include two main parts: a hardware encoder and a software decoder. The hardware encoder typically consists of an (optical) imaging system designed to capture {compressed measurements}. The software decoder on the other hand refers to a reconstruction algorithm that retrieves the desired high-dimensional signal from those measurements. In this paper, using deep unfolding ideas, we propose an SCI recovery algorithm, namely GAP-net, which unfolds the generalized alternating projection (GAP) algorithm. At each stage, GAP-net passes its current estimate of the desired signal through a trained convolutional neural network (CNN). The CNN operates as a denoiser that projects the estimate back to the desired signal space. For the GAP-net that employs trained auto-encoder-based denoisers, we prove a probabilistic global convergence result. Finally, we investigate the performance of GAP-net in solving video SCI and spectral SCI problems. In both cases, GAP-net demonstrates competitive performance on both synthetic and real data. In addition to having high accuracy and high speed, we show that GAP-net is flexible with respect to signal modulation implying that a trained GAP-net decoder can be applied in different systems. Our code is at https://github.com/mengziyi64/ADMM-net.

研究の動機と目的

• ビデオ SCI とスペクトル SCI の両方に適用可能な統一的な SCI 復元手法を開発する。
• GAP ベースの射影スキームの各段階に CNN ベースの除噪器を組み込む。
• AE ベースの GAP-net に対する理論的収束保証を提供する。
• 合成データおよび実データ上で競争力のある精度と速度を示す。

提案手法

• SCI 復元を (1/2)||y-Hx||^2 + tau*Ω(x) の最小化として定式化する。
• GAP を用いて、補助変数 v を用いた線形モデル y=Hx への反復射影を実行する。
• 各段階で x^(k+1)=v^(k)+H^T(HH^T)^{-1}(y-Hv^(k)) のユークリッド射影を行う。
• 学習済み CNN 除噪器 D_{k+1} を用いて x^(k+1) を信号空間に再写像し、v^(k+1)=D_{k+1}(x^(k+1)) を得る。
• ビデオおよびスペクトル SCI 用に段階特化の除噪器（AE、DnCNN、U-net、ResNet）を訓練する。
• AE ベースの GAP-net の指定条件下でのグローバル収束を示す収束解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 GAP-net は単一のフレームワーク内でビデオ SCI とスペクトル SCI の両方に対して正確な復元を提供できるか。
• RQ2 段階ごとの CNN 除噪器は計算効率を維持しつつ復元品質を向上させるか。
• RQ3 スナップショット圧縮イメージング環境における AE ベース GAP-net の収束保証はどのようになるか。
• RQ4 GAP-net は合成データと実データの両方で他の反復法、エンドツーエンド法、PnP 法と比べてどうか。

主な発見

Method	Kobe	Traffic	Runner	Drop	Vehicle	Aerial	Average	time (s)
GAP-TV	26.46	20.89	28.52	34.63	24.82	25.05	26.73	4.2
DeSCI	33.25	28.72	38.76	43.22	25.33	27.04	32.72	6180
E2E-CNN	29.02	23.45	34.43	36.77	26.40	27.52	29.26	0.023
BIRNAT	32.71	29.33	38.70	42.28	27.84	28.99	33.31	0.16
PnP-FFDnet	30.50	24.18	32.15	40.70	25.42	25.27	29.70	3.0
Tensor-ADMM-net	30.50	NA	NA	NA	25.42	NA	NA	2.1
Tensor-FISTA-net	31.41	NA	NA	NA	26.46	NA	NA	1.7
GAP-net-AE-S9	24.20	21.13	29.18	32.21	24.19	24.41	25.89	0.0036
GAP-net-DnCNN-S9	31.09	27.36	37.49	41.52	27.57	28.56	32.27	0.0081
GAP-net-ResNet-S9	31.57	27.61	37.70	41.75	27.68	28.74	32.51	0.0040
ADMM-net-Unet-S9	31.87	27.88	37.75	41.41	27.58	28.70	32.53	0.0058
GAP-net-Unet-S9	31.76	27.87	37.89	41.43	27.53	28.57	32.51	0.0052
GAP-net-Unet-S12	32.09	28.19	38.12	42.02	27.83	28.88	32.86	0.0072

• GAP-net は DeSCI や多くの代替法よりも計算時間を大幅に短縮しつつ、PSNR/SSIM で競争力を持つ。
• 9 段階で U-net または ResNet 除噪器を用いると、複数のベースラインより高品質な復元を、六つの合成ビデオ SCI データセット（Kobe、Traffic、Runner、Drop、Vehicle、Aerial）で達成する。
• 9 段階と高速 CNN 除噪器を用いた GAP-net は ResNet 使用時に各測定あたり約 4 ms を実現し、ほぼリアルタイム再構成を可能にする。
• 実データのビデオ SCI では、GAP-net はいくつかのベースラインよりシャープな運動 details とクリーンな背景を生成する。
• スペクトル SCI では、9 段階と U-net 除噪器を用いた GAP-net は、合成データの 10 シーンで複数の反復・学習ベース法を上回る PSNR/SSIM を示し、実データでも強い定性的結果を示す。
• 理論結果は、選択した生成モデルとセンサー仮定の下で AE ベース GAP-net のグローバル収束を確立する。