[論文レビュー] Deep Learning-Guided Image Reconstruction from Incomplete Data

Brendan J. Kelly, Thomas P. Matthews+1 more|arXiv (Cornell University)|Sep 2, 2017

Advanced Image Processing Techniques参考文献 24被引用数 45

ひとこと要約

本論文は、プロキシマル勾配降下法におけるプロキシマル作用素を、アーチファクトを含む画像を綺麗な画像に写像するように学習された畳み込みニューラルネットワーク（CNN）に置き換える深層学習ガイドドの反復的画像再構成手法を提案する。反復フレームワーク内にCNNを統合することにより、重度に不完全なデータからも画像品質を向上させ、従来の手法やワンパス型DL手法と比較して、より低いRMSEとより高いSSIMを達成し、限界視野CT再構成で最先端の性能を発揮する。

ABSTRACT

An approach to incorporate deep learning within an iterative image reconstruction framework to reconstruct images from severely incomplete measurement data is presented. Specifically, we utilize a convolutional neural network (CNN) as a quasi-projection operator within a least squares minimization procedure. The CNN is trained to encode high level information about the class of images being imaged; this information is utilized to mitigate artifacts in intermediate images produced by use of an iterative method. The structure of the method was inspired by the proximal gradient descent method, where the proximal operator is replaced by a deep CNN and the gradient descent step is generalized by use of a linear reconstruction operator. It is demonstrated that this approach improves image quality for several cases of limited-view image reconstruction and that using a CNN in an iterative method increases performance compared to conventional image reconstruction approaches. We test our method on several limited-view image reconstruction problems. Qualitative and quantitative results demonstrate state-of-the-art performance.

研究の動機と目的

• コンピュータ断層撮影システムにおいて、重度に不完全な測定データから高品質な画像を再構成する課題に対処すること。
• 非圧縮サンプリング条件や複雑な画像事前知識に対して困難を示す従来の正則化手法の限界を克服すること。
• 深層学習を活用して、人間の知覚に影響を及げるアーチファクトパターンを捉えるドメイン固有の画像事前知識を符号化すること。
• 訓練済みのCNNを反復最適化フレームワークに埋め込むことで、画像再構成性能を向上させること。
• 反復的統合により、ワンパス型画像修復や標準的なスパース正則化と比較して、より優れた結果が得られることを示すこと。

提案手法

• 本手法は、プロキシマル勾配降下法におけるプロキシマル作用素を、アーチファクトを含む画像をそれに対応するアーチファクトなしバージョンに写像するように学習されたCNNに置き換える。
• CNNは、不完全なデータから再構成された画像（アーチファクトを含む）とそれに対応する真値画像のペアデータ上で学習される。
• 反復フレームワークは、線形再構成作用素を用いた勾配降下ステップと、画像事前知識を強制するCNNベースの更新ステップを交互に実行する。
• 一般化性能を向上させるために、二段階の訓練スキームが導入され、まずCNNが多数のアーチファクトを含む画像で事前学習され、その後ペアデータでファインチューニングされる。
• 本手法は、CNNから導出された学習済み正則化子を用いた最小二乗最小化問題として定式化され、データ整合性と事前知識のバランスを可能にする。
• 本アプローチは汎用的であり、PLS-TVなどの他の再構成作用素を組み込むことで、さらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 深層CNNを反復的再構成フレームワークに効果的に統合することで、不完全なデータからの画像品質が向上するか？
• RQ2 提案手法の反復的DL手法の性能は、ワンパス型CNNベースの画像修復と従来のスパース正則化と比較してどうなるか？
• RQ3 二段階訓練スキームが、画像再構成におけるCNNの一般化性能とロバストネスをどの程度向上させるか？
• RQ4 学習済み事前知識の反復的統合は、非圧縮サンプリング状況において、標準的な正則化よりもアーチファクト低減をより効果的に行うか？
• RQ5 提案手法は、複数の限界視野再構成タスクにおいて、最先端の性能を達成できるか？

主な発見

• 提案手法は、全テストケースで最小のRMSEと最大のSSIMを達成し、140度ノイズありケースではRMSE 0.011、SSIM 0.989を記録した。
• 100度ノイズありケースでは、RMSEを0.022に低下させ、SSIMを0.969に向上させ、PLS-TV（RMSE 0.059、SSIM 0.852）を著しく上回った。
• ワンパス型CNNベースの手法はLS-NNベースラインを改善したが、特にノイズが多い状況では提案手法に劣った。
• 二段階訓練スキームにより一般化性能が向上し、標準的な訓練に比べて優れた性能を発揮した。これは、公平な比較において不可欠であった。
• 本手法は、ストリークアーチファクトとノイズの両方を顕著に低減した。P理由は、強いノイズ抑制を実現したが、アーチファクト除去に苦労していた。
• 本フレームワークは、視野の不完全さやノイズレベルの変動にかかわらず、定量的および定性的な指標において、常に最先端の手法を上回るロバストネスを示した。