[論文レビュー] Unrolled Optimization with Deep Priors

Steven Diamond, Vincent Sitzmann+2 more|arXiv (Cornell University)|May 22, 2017

Sparse and Compressive Sensing Techniques参考文献 3被引用数 128

ひとこと要約

この論文はODPを導入する。ODPは学習可能な深層CNN priorsを用いて古典的な最適化を展開し、逆イメージング問題を解決する。ノイズ除去、ブラー除去、圧縮感度MRIにおいて最先端の結果を達成する。

ABSTRACT

A broad class of problems at the core of computational imaging, sensing, and low-level computer vision reduces to the inverse problem of extracting latent images that follow a prior distribution, from measurements taken under a known physical image formation model. Traditionally, hand-crafted priors along with iterative optimization methods have been used to solve such problems. In this paper we present unrolled optimization with deep priors, a principled framework for infusing knowledge of the image formation into deep networks that solve inverse problems in imaging, inspired by classical iterative methods. We show that instances of the framework outperform the state-of-the-art by a substantial margin for a wide variety of imaging problems, such as denoising, deblurring, and compressed sensing magnetic resonance imaging (MRI). Moreover, we conduct experiments that explain how the framework is best used and why it outperforms previous methods.

研究の動機と目的

• priors を埋め込む未展開最適化の一般的枠組み（ODP）を動機付け、逆イメージング問題に適用する。
• データ整合性と学習済みCNN priorsを組み合わせて高品質な再構成を実現する。
• ノイズ除去、ブラー除去、圧縮感性 MRI において最先端の性能を示す。
• ODPにおける priors の利用時期と方法について経験的な指針を提供する。
• 未展開フレームワーク内での最適化アルゴリズムとネットワークアーキテクチャの選択について洞察を提供する。

提案手法

• 最適化アルゴリズム（例えば近傍勾配法）を固定深さのネットワークに展開し、データステップとCNN priorsステップを交互に配置する。
• Prior項の近傍演算子または勾配をCNN priors（しばしば残差CNN）でパラメータ化する。
• CNNとアルゴリズムのハイパーパラメータを最適化しつつ、画像と測定の対ペアに対する再構成損失を用いてネットワークをエンドツーエンドで訓練する。
• 逆問題を解くために単純なバックプロジェクション x^0 = A^H y で初期化する。
• どの展開版（近傍勾配法、ADMM、LADMM、勾配法）を用いるとデータ項を最も効果的に活用できるかを比較する。
• デフォルト設計を提供する：強力なベースラインとして proximal-gradient 展開を選択し、残差CNN priors を使用し、HQS に着想を得た減衰ステップサイズのヒューリスティックを採用する。

実験結果

リサーチクエスチョン

• RQ1 学習済み priors を用いた展開最適化は、一般的なイメージング逆問題（ノイズ除去、ブラー除去、CS-MRI）で最先端の方法を上回ることができるか。
• RQ2 データ項の反転を展開ネットワークにどのように統合すべきか（どの最適化アルゴリズムとどの近傍/勾配ステップが最適か）。
• RQ3 CNN priors は性能にどの程度寄与し、データステップとどのように相互作用するか。
• RQ4 ODP内で学習されたアーキテクチャとパラメータ選択は、画像形成演算子（すなわち単一のAを超えて一般化するか）。

主な発見

モデル	20%	30%	40%	50%	画像あたりの時間
PBDW	36.34	38.64	40.31	41.81	35.36s (CPU)
PANO	36.52	39.13	41.01	42.76	53.48s (CPU)
FDLCP	36.95	39.13	40.62	42.00	52.22s (CPU)
ADMM-Net	37.17	39.84	41.56	43.00	0.79s (CPU)
BM3D-MRI	37.98	40.33	41.99	43.47	40.91s (CPU)
ODP	38.50	40.71	42.34	43.85	0.090s (GPU)

• ODP は denoising、deblurring、および CS-MRI の複数の実験で最先端手法を上回る。
• 複数の画像形成演算子で訓練された単一のODPモデルは、演算子ごとに訓練された専門モデルよりも優れることがある（例：CS-MRI）。
• CNN priors とデータをほぼ毎回反転させる演算子を含む近傍勾配ベースの展開ネットワークが、試験されたアルゴリズムの中で最も良い性能を示す傾向がある。
• データステップの反転（可能で正確である場合）は再構成を大幅に助け、CNN priorsは主にノイズ除去と残留アーティファクトの是正を行う。
• 事前情報は一般に汎化性能を向上させる。特に画像形成演算子が複雑で訓練中に未知である場合には。
• アブレーションでは、データステップなしの純粋なCNN priorsは deblurring および CS-MRI で劣ることが多く、難しい逆問題におけるデータ整合項の重要性を強調する。