[論文レビュー] End-to-end reconstruction meets data-driven regularization for inverse problems

Subhadip Mukherjee, Marcello Carioni+2 more|arXiv (Cornell University)|Jun 7, 2021

Medical Imaging Techniques and Applications参考文献 30被引用数 12

ひとこと要約

本稿では、反復アンロールと敵対的訓練を用いて深層ニューラルネットワークで学習された正則化子を組み合わせることで、不適切な逆問題に対する教師なしエンド・ツー・エンド再構成手法を提案する。この手法は高速で高品質な再構成を達成しており、X線CTにおいて最先端の教師なし手法を上回り、教師あり学習のベンチマークに匹敵する性能を示す。また、ワッサーシュタイン-1距離に基づく正則化フレームワークにより、変分法の適切な定式化とノイズ安定性の保証を維持する。

ABSTRACT

We propose an unsupervised approach for learning end-to-end reconstruction operators for ill-posed inverse problems. The proposed method combines the classical variational framework with iterative unrolling, which essentially seeks to minimize a weighted combination of the expected distortion in the measurement space and the Wasserstein-1 distance between the distributions of the reconstruction and ground-truth. More specifically, the regularizer in the variational setting is parametrized by a deep neural network and learned simultaneously with the unrolled reconstruction operator. The variational problem is then initialized with the reconstruction of the unrolled operator and solved iteratively till convergence. Notably, it takes significantly fewer iterations to converge, thanks to the excellent initialization obtained via the unrolled operator. The resulting approach combines the computational efficiency of end-to-end unrolled reconstruction with the well-posedness and noise-stability guarantees of the variational setting. Moreover, we demonstrate with the example of X-ray computed tomography (CT) that our approach outperforms state-of-the-art unsupervised methods, and that it outperforms or is on par with state-of-the-art supervised learned reconstruction approaches.

研究の動機と目的

• エンド・ツー・エンド学習と学習された正則化手法の限界に対処する。特に、エンド・ツー・エンド学習における理論的保証の欠如と、変分ソルバーの高い計算コストに起因する問題を解決する。
• アンロールドエンド・ツー・エンドネットワークの計算効率と、変分正則化の適切な定式化とノイズ安定性を統合するフレームワークを構築する。
• 教師付きデータペアを必要とせず、敵対的訓練によりデータ適応型正則化子を学習することで、教師なし学習を可能にする。
• アンロールドネットワークを変分最小化の初期化に用いることで、収束速度と再構成品質を向上させる。
• 学習されたエンド・ツー・エンド演算子と対応する変分目的の間の理論的・実験的関係を確立する。

提案手法

• 本手法は、測定空間におけるL2ノルムで測定されるデータ適合性と、再構成画像と真値画像の分布間のワッサーシュタイン-1距離の加重和を最小化する変分問題を定式化する。
• 変分フレームワークにおける正則化子は深層ニューラルネットワークでパrameter化され、敵対的学習によりアンロールド再構成演算子と同時に最適化される。
• 20層、5×5フィルタを有するアンロールド再構成ネットワークは、勾配降下法による変分問題の解法において効果的な初期化を提供し、収束を著しく高速化する。
• GANに類似したディスクリミネーターを用いて、再構成画像と真値画像の間の分布類似性を強制することで、教師なし学習を可能にする。
• エンド・ツー・エンド再構成後、画像品質をさらに向上させるためのリファインメントステップを適用する。
• 本手法は、スパarsely viewed X-ray CTで評価され、PSNRとSSIMを指標として、FBP、TV、LPD、U-Net後処理、AR、ACRと比較される。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドアンロールド再構成ネットワークが、データ駆動型正則化子を有する変分問題の初期化に効果的に用いられ、収束速度と再構成品質が向上するか？
• RQ2 敵対的訓練と変分正則化を組み合わせることで、教師なし逆問題における一般化性能とノイズ安定性が向上するか？
• RQ3 提案手法は、画像品質と計算効率の観点から、既存の教師なしおよび教師あり学習再構成手法をどの程度上回るか？
• RQ4 学習された正則化子が、変分解の安定性と適切な定式化にどのように影響を与えるか？
• RQ5 正則化ペナルティ重みλが、再構成におけるデータ適合性と分布一致のトレードオフに与える影響は何か？

主な発見

• X線CTの全テスト画像において、提案手法UARは敵対的正則化子（AR）を0.3 dB、その凸型変種（ACR）を2.6 dB上回るPSNRを達成する。
• リファインメントステップを適用した場合、UARはARをほぼ0.7 dB上回り、U-Net後処理（教師あり手法）と同等の性能を達成する。
• エンド・ツー・エンドUAR再構成はARに比べて桁違いに高速で、リファインメントステップを適用すると4倍の高速化が達成される。
• 本手法は平均だけでなく、全テスト画像において一貫した改善を示しており、強力な一般化性能を示している。
• アンロールドネットワークは優れた初期化を提供し、変分ソルバーにおける収束に必要な反復回数を削減する。
• 本フレームワークは、エンド・ツー・エンドモデルの高速推論と、変分正則化の理論的保証を効果的に統合し、教師なし設定で最先端の性能を達成する。