[論文レビュー] Learned convex regularizers for inverse problems

Subhadip Mukherjee, Sören Dittmer+4 more|arXiv (Cornell University)|Aug 6, 2020

Medical Imaging Techniques and Applications参考文献 35被引用数 17

ひとこと要約

本稿では、入力凸ニューラルネットワーク（ICNN）を用いて、真の画像と正則化なしの再構成画像を区別するように敵対的に学習させることで、データに適応する強い凸性を持つ正則化子を提案する。この手法は解析的収束性と安定性を保証し、ぼかし除去とCT再構成において最先端の性能を達成しており、より少ないパラメータで、早期停止を必要としない非凸な代替手法を上回っている。

ABSTRACT

We consider the variational reconstruction framework for inverse problems and propose to learn a data-adaptive input-convex neural network (ICNN) as the regularization functional. The ICNN-based convex regularizer is trained adversarially to discern ground-truth images from unregularized reconstructions. Convexity of the regularizer is desirable since (i) one can establish analytical convergence guarantees for the corresponding variational reconstruction problem and (ii) devise efficient and provable algorithms for reconstruction. In particular, we show that the optimal solution to the variational problem converges to the ground-truth if the penalty parameter decays sub-linearly with respect to the norm of the noise. Further, we prove the existence of a sub-gradient-based algorithm that leads to a monotonically decreasing error in the parameter space with iterations. To demonstrate the performance of our approach for solving inverse problems, we consider the tasks of deblurring natural images and reconstructing images in computed tomography (CT), and show that the proposed convex regularizer is at least competitive with and sometimes superior to state-of-the-art data-driven techniques for inverse problems.

研究の動機と目的

• 変分的逆問題における手作業で設計された事前分布の限界を克服すること。
• 深層学習を古典的正則化理論に統合しつつ、理論的保証を得るための凸性を維持すること。
• 収束性と安定性を保証する凸的でデータ駆動型の正則化子を開発すること。
• 凸性が非凸な学習済み正則化子と比較して性能を低下させないことの実証。
• トレーニングおよび再構成において早期停止を不要とし、過学習とアーチファクトの発生を低減すること。

提案手法

• 非負の重みを有するネットワークアーキテクチャにより、強い凸性を保証する入力凸ニューラルネットワーク（ICNN）をデータに適応する正則化子として用いる。
• 真の画像と正則化なしの再構成画像を区別する敵対的損失を用いて正則化子を学習する。
• 各トレーニングステップ後に負の重みをゼロクリッピングすることで、凸性を維持する。
• 罰則パrameterの非線形減衰のもとで、勾配降下法を用いて変分的再構成問題を解き、収束保証を付与する。
• 部分勾配に基づくアルゴリズムが、パrameter空間において再構成誤差を単調に減少させることを証明する。
• PSNRと視覚的比較を用いて、画像のぼかし除去とスパarsely viewed CTに対して評価する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型正則化子は、凸性を保ちつつ逆問題において有効であるか？
• RQ2 学習済み正則化子に凸性を強制することは、再構成性能を低下させるか？
• RQ3 敵対的訓練によって、収束性と安定性を保証する凸正則化子を生成できるか？
• RQ4 非凸な対応手法とは異なり、凸正則化子は早期停止を必要とせずにトレーニング可能か？
• RQ5 より少ないパラメータで、非凸な代替手法と同等またはそれ以上の性能を達成できるか？

主な発見

• ACR正則化子は、画像のぼかし除去とCT再構成において、最先端の手法と少なくとも同等の性能を達成する。
• ぼかし除去において、ACRはTotal Variation（TV）を約1 dB向上させ、一部の状況で非凸なAR手法を上回る。
• ACRは、TVを0.5 dB向上させるのみのSFB事前分布よりも優れた結果を達成しており、より表現力のある凸モデルの利点を示している。
• 非凸なAR手法とは異なり、ACRはトレーニングや再構成において早期停止を必要とせず、過学習とアーチファクトの発生が低減される。
• ACRは非凸なAR手法と比較して、はるかに少ないパラメータで高い性能を維持しており、特にデータが少ない状況で顕著である。
• 理論的分析により、反復回数が増加するにつれて再構成誤差が単調に減少し、非線形減衰のもとで真の画像に収束することが確認された。