[論文レビュー] Learned D-AMP: Principled Neural Network based Compressive Image Recovery

Christopher A. Metzler, Ali Mousavi+1 more|arXiv (Cornell University)|Apr 21, 2017

Sparse and Compressive Sensing Techniques被引用数 192

ひとこと要約

LDAMPはD-AMPアルゴリズムを訓練可能なニューラルネットワークに展開し、デノイジングCNNデノイザーを用いる。BM3D-AMPおよびNLR-CSよりも精度が高く、実行時間もテスト済みの行列全体で大幅に高速化される。

ABSTRACT

Compressive image recovery is a challenging problem that requires fast and accurate algorithms. Recently, neural networks have been applied to this problem with promising results. By exploiting massively parallel GPU processing architectures and oodles of training data, they can run orders of magnitude faster than existing techniques. However, these methods are largely unprincipled black boxes that are difficult to train and often-times specific to a single measurement matrix. It was recently demonstrated that iterative sparse-signal-recovery algorithms can be "unrolled" to form interpretable deep networks. Taking inspiration from this work, we develop a novel neural network architecture that mimics the behavior of the denoising-based approximate message passing (D-AMP) algorithm. We call this new network Learned D-AMP (LDAMP). The LDAMP network is easy to train, can be applied to a variety of different measurement matrices, and comes with a state-evolution heuristic that accurately predicts its performance. Most importantly, it outperforms the state-of-the-art BM3D-AMP and NLR-CS algorithms in terms of both accuracy and run time. At high resolutions, and when used with sensing matrices that have fast implementations, LDAMP runs over $50 imes$ faster than BM3D-AMP and hundreds of times faster than NLR-CS.

研究の動機と目的

• principled iterative ideas with data-driven learningを組み合わせて、圧縮画像復元の改善を動機づける。
• D-AMP/D-ITを模倣し、学習可能なデノイザーを使用するニューラルネットワークアーキテクチャを開発する。
• LDAMPのトレーニング戦略と理論的支援（状態進化）を提供する。
• マトリクス種別と解像度を跨いだLDAMPの性能利点を示す。

提案手法

• D-AMP/D-ITの反復を多層ニューラルネットワーク（LDAMP）へ展開する。
• 各層にDnCNNベースのデノイザーを組み込み、自然画像の事前情報を強制する。
• Onsager補正を用いて各反復でAWGN様の有効ノイズを維持する。
• デノイザーの重みのみを層ごとに学習させ、エンドツーエンド、層別、デノイザーごとのトレーニングなどのバリエーションを適用する。
• LDAMPの性能を予測するためのヒューリスティックとして状態進化を用いる。
• 手作り設計（TVAL3）や他の学習ベース手法（BM3D-AMP, NLR-CS）と比較する。

実験結果

リサーチクエスチョン

• RQ1 principled behaviorを維持しつつ、D-AMP/D-ITの反復を訓練可能なニューラルネットワーク層へどのように写像できるか？
• RQ2 LDAMPは異なる測定マトリクスとノイズレベルの下で一般化するか？
• RQ3 LDAMPにとってエンドツーエンド対層別対デノイザーごと対策の中で、理論的にMMSE最適なのはどのトレーニング戦略か？
• RQ4 LDAMPを最新のCS復元アルゴリズムと精度と高速性の点でどう比較できるか？
• RQ5 状態進化は実際にLDAMPの性能を予測できるか？

主な発見

Method	m/n=0.10 (PSNR, Time)	m/n=0.15 (PSNR, Time)	m/n=0.20 (PSNR, Time)	m/n=0.25 (PSNR, Time)
TVAL3	(21.5, 2.2)	(22.8, 2.9)	(24.0, 3.6)	(25.0, 4.3)
BM3D-AMP	(23.1, 4.8)	(25.1, 4.4)	(26.6, 4.2)	(27.9, 4.1)
LDIT	(20.1, 0.3)	(20.7, 0.4)	(21.1, 0.4)	(21.7, 0.5)
LDAMP	(23.7, 0.4)	(25.7, 0.5)	(27.2, 0.5)	(28.5, 0.6)
NLR-CS	(23.2, 85.9)	(25.2, 104.0)	(26.8, 124.4)	(28.2, 146.3)

• LDAMPは tested setups において PSNR と実行時間の両方で BM3D-AMP および NLR-CS を上回る。
• Gaussianおよびコード化回折測定で、LDAMPは競合より高いPSNRを達成し、特に高解像度でのBM3D-AMPより最大50倍速くなるなど、実行時間が大幅に短縮される。
• 層別およびデノイザーごとのトレーニングはLDAMPにとってMMSE最適であり、エンドツーエンドの学習と同等またはそれ以上の性能を発揮する。
• 状態進化は独立同分布のGaussian Aとノイズ仮定の下でLDAMPの中間MSEを正確に予測する。
• 一つのサンプリングレートで訓練されたLDAMPは、デノイザーごとトレーニングを用いる場合に他のサンプリングレートへも良好に一般化する。
• LDAMPは異なる測定マトリクスやスケール（例：128x128以上の解像度）でも有効で、前進/後退演算子が高速。