[論文レビュー] Learning convex regularizers satisfying the variational source condition for inverse problems

Subhadip Mukherjee, Carola‐Bibiane Schönlieb+1 more|arXiv (Cornell University)|Oct 24, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、敵対的訓練中に変分的ソース条件（SC）を強制することで、逆問題に対する凸正則化子を学習する手法ACR-SCを提案する。損失関数にSCに基づくペナルティ項を追加することにより、真の画像が変分的エネルギーを最小化することを保証し、厳密なO(δ)収束速度の見積もりを可能にするとともに、元のACR手法と同等の性能を維持する。

ABSTRACT

Variational regularization has remained one of the most successful approaches for reconstruction in imaging inverse problems for several decades. With the emergence and astonishing success of deep learning in recent years, a considerable amount of research has gone into data-driven modeling of the regularizer in the variational setting. Our work extends a recently proposed method, referred to as adversarial convex regularization (ACR), that seeks to learn data-driven convex regularizers via adversarial training in an attempt to combine the power of data with the classical convex regularization theory. Specifically, we leverage the variational source condition (SC) during training to enforce that the ground-truth images minimize the variational loss corresponding to the learned convex regularizer. This is achieved by adding an appropriate penalty term to the ACR training objective. The resulting regularizer (abbreviated as ACR-SC) performs on par with the ACR, but unlike ACR, comes with a quantitative convergence rate estimate.

研究の動機と目的

• データ駆動型ディープラーニングと古典的変分正則化を統合するため、変分的ソース条件を満たす凸正則化子を学習すること。
• 純粋にデータ駆動的な手法では一般的に欠落している、学習済み正則化子の理論的収束速度見積もりを提供すること。
• 変分解析からの構造的制約を組み込むことで、敵対的凸正則化（ACR）の一般化性と安定性を向上させること。
• 追加のTikhonov項を必要とせず、高い再構成品質を維持しながら理論的保証を確保すること。

提案手法

• 本手法は、真の画像が変分的ソース条件を満たすよう促すためのペナルティ項$L_{\text{sc}}(\theta)$を導入し、$\ell_{\text{sc}}(x;\theta) = \| (A^*)^{-1} \nabla_x \psi(x;\theta) \|$を最小化することで実現する。
• 全体の訓練目的関数は、データ再構成、敵対的正則化、勾配ペナルティ、およびSCペナルティを組み合わせたものであり、$ L(\theta) = \frac{1}{n}\sum_i \psi_\theta(x_i) - \frac{1}{n}\sum_i \psi_\theta(z_i) + \lambda_{\text{gp}}L_{\text{gp}}(\theta) + \lambda_{\text{sc}}L_{\text{sc}}(\theta) $ で表される。
• 正則化子は入力凸ニューラルネットワーク（ICNN）を用いてモデル化され、凸性が保証され、理論的解析が可能になる。
• ソース条件はBregman距離を介して強制され、これにより解の正則性と収束速度見積もりが結びつけられる。
• 学習済み正則化子を用いた変分問題は勾配降下法で解かれ、安定性と性能を最適化するためのハイパーパrameterが調整されている。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型凸正則化子の訓練中に変分的ソース条件を強制することで、理論的収束保証を達成できるか？
• RQ2 ソース条件の強制は、標準的な敵対的凸正則化と比較して再構成性能を劣化させるか？
• RQ3 学習済み凸正則化子は、ノイズレベルδが0に近づく際、O(δ)の収束速度を達成できるか？
• RQ4 ソース条件ペナルティの導入は、学習済み正則化子の一般化性と安定性にどのように影響するか？

主な発見

• ACR-SCは、Mayo-clinic CTデータ上でPSNR 31.28±0.50 dB、SSIM 0.84±0.01を達成し、ACRにわずかに劣るが、より強い理論的保証を持つ。
• 本手法はBregman距離を介してO(δ)収束速度見積もりを可能にし、これは先行するデータ駆動的手法には欠落していた重要な理論的貢献である。
• ACR-SCはパラメータ数が590,928とACRの606,610よりも少ないため、パラメータ効率が向上している。
• ACR-SCの再構成時間は105,232.1±378.5 msであり、ACRの109,952.4±497.8 msと同等で、顕著な計算コストの増加はない。
• ノイズ除去タスクでは、Bregmanベースの最適化を用いたACR-SCは、標準的勾配降下法よりも高いSSIM（0.86）と優れたコントラスト回復を達成した。
• ACRとの性能差はわずかであり、ソース条件の強制が再構成品質を著しく損なわないことが示された。