[論文レビュー] Neural Proximal Gradient Descent for Compressive Imaging

Morteza Mardani, Qingyun Sun+5 more|arXiv (Cornell University)|Jun 1, 2018

Sparse and Compressive Sensing Techniques被引用数 117

ひとこと要約

本論文は近接勾配法の反復を展開し、再帰的ResNetで近接写像を学習させることで、従来のCS法および非再帰的ネットと比較してデータに適合したMRI再構成速度とスーパーレゾリューションを向上させている。

ABSTRACT

Recovering high-resolution images from limited sensory data typically leads to a serious ill-posed inverse problem, demanding inversion algorithms that effectively capture the prior information. Learning a good inverse mapping from training data faces severe challenges, including: (i) scarcity of training data; (ii) need for plausible reconstructions that are physically feasible; (iii) need for fast reconstruction, especially in real-time applications. We develop a successful system solving all these challenges, using as basic architecture the recurrent application of proximal gradient algorithm. We learn a proximal map that works well with real images based on residual networks. Contraction of the resulting map is analyzed, and incoherence conditions are investigated that drive the convergence of the iterates. Extensive experiments are carried out under different settings: (a) reconstructing abdominal MRI of pediatric patients from highly undersampled Fourier-space data and (b) superresolving natural face images. Our key findings include: 1. a recurrent ResNet with a single residual block unrolled from an iterative algorithm yields an effective proximal which accurately reveals MR image details. 2. Our architecture significantly outperforms conventional non-recurrent deep ResNets by 2dB SNR; it is also trained much more rapidly. 3. It outperforms state-of-the-art compressed-sensing Wavelet-based methods by 4dB SNR, with 100x speedups in reconstruction time.

研究の動機と目的

• Ill-posed linear inverse problemsにおける迅速で妥当な再構成を動機づける。
• learned priors にデータ物理的一貫性を組み込む。
• proximal gradientの反復を展開してニューラル近接勾配フレームワークを開発する。
• 学習された近接の収束性と経験的挙動を分析する。
• 小児MRI再構成と自然画像超解像に対して評価する。

提案手法

• 近接勾配の反復を再帰ネットワークとしてキャストし、データ整合性のある更新をモデル化する。
• 近接演算子を多層ニューラルネットワーク（ResNetベース）でモデル化する。
• 訓練データセット上の経験的リスクを混合損失（再構成と測定一貫性）で最小化してエンドツーエンドで訓練する。
• s_{t+1}=g(x_t;y) と x_{t+1}=P_ψ(s_{t+1}) の状態空間形式を用いてデータ忠実性と学習された近接を結合する。
• 近接ネットワークにおける異なる活性化マスクスキーム(D(z))を検討し、ResNet/DiracNet系で勾配消失に対処する。

実験結果

リサーチクエスチョン

• RQ1 学習された近接演算子を実装する再帰ニューラルネットワークは、アンダーサンプリング倒立問題の再構成品質を改善できるか？
• RQ2 小さな近接ブロックを繰り返すことは MRI 再構成で単一の深層ネットワークより優れているか？
• RQ3 学習された近接に対して収束性を経験的に確認できるか、反復展開の収束性を保証するか？
• RQ4 ニューラル近接法は再構成品質と速度において従来のCSベース法と非再帰深層ネットとどのように比較されるか？

主な発見

iterations	RBs	train time (hours)	inference time (sec)	SNR (dB)	SSIM
10	1	2	0.04	26.07	0.9117
5	2	4	0.10	26.94	0.9221
2	5	8	0.12	26.55	0.9194
deep ResNet	10	12	0.0522	24.33	0.8810
CS-TV	n/a	n/a	1.30	22.20	0.82
CS-WV	n/a	n/a	1.16	22.51	0.86

• 単一の残差ブロック（RB）を含む再帰的ResNetを反復展開すると、近接を効果的にモデル化し MR のディテールを明らかにできる。
• 再帰的アーキテクチャは非再帰的深層ResNetより約2 dBのSNRで上回り、より速く訓練される。
• この手法は最先端のCS-WV法を約4 dBのSNRで上回り、再構成時間を最大100倍速くする。
• 反復数（T）を増やすとSNRとSSIMが向上するが、多数のRBを有する非常に深く多様なネットワークは1回の反復に対して必ずしも同等の利得を生まない。
• MRI では、1 RBを用いた10回の反復が品質と計算の良いトレードオフを提供し、臨床での実用性を可能にする。
• 収束解析は、支配的な収束が固定線形部分から来ており、学習された近接は小さな摂動を与え、後半の反復では摂動効果が減衰することを示唆する。