[論文レビュー] Neural Networks-based Regularization of Large-Scale Inverse Problems in Medical Imaging.

Andreas Kofler, Markus Haltmeier+5 more|arXiv (Cornell University)|Dec 19, 2019

Medical Imaging Techniques and Applications被引用数 1

ひとこと要約

本稿では、大規模な医療画像再構成のためのパッチベースの深層学習正則化手法を提案する。データ整合性と事前分布に基づく正則化を分離し、事前学習済みニューラルネットワークをティコノフ事前分布として用いる。この手法により、計算が数個のオーダー速くなり、3D低線量CTおよび2Dラジアルコーンビームcine MRIにおいて、PSNR、NRMSE、SSIMの観点で最先端の手法を上回る性能を達成する。

ABSTRACT

In this paper we present a generalized Deep Learning-based approach for solving ill-posed large-scale inverse problems occuring in medical image reconstruction. Recently, Deep Learning methods using iterative neural networks and cascaded neural networks have been reported to achieve state-of-the-art results with respect to various quantitative quality measures as PSNR, NRMSE and SSIM across different imaging modalities. However, the fact that these approaches employ the forward and adjoint operators repeatedly in the network architecture requires the network to process the whole images or volumes at once, which for some applications is computationally infeasible. In this work, we follow a different reconstruction strategy by decoupling the regularization of the solution from ensuring consistency with the measured data. The regularization is given in the form of an image prior obtained by the output of a previously trained neural network which is used in a Tikhonov regularization framework. By doing so, more complex and sophisticated network architectures can be used for the removal of the artefacts or noise than it is usually the case in iterative networks. Due to the large scale of the considered problems and the resulting computational complexity of the employed networks, the priors are obtained by processing the images or volumes as patches or slices. We evaluated the method for the cases of 3D cone-beam low dose CT and undersampled 2D radial cine MRI and compared it to a total variation-minimization-based reconstruction algorithm as well as to a method with regularization based on learned overcomplete dictionaries. The proposed method outperformed all the reported methods with respect to all chosen quantitative measures and further accelerates the regularization step in the reconstruction by several orders of magnitude.

研究の動機と目的

• 高メモリおよび高処理要求のため、反復的深層学習ネットワークで全3D医療画像またはボリュームを処理することが計算的に非現実的であるという問題に対処する。
• 正則化ステップをデータ整合性の強制から分離し、事前学習済みの複雑で高容量のニューラルネットワークを用いて事前分布学習を可能にする。
• 画像をパッチまたはスライスとして処理することで、大規模医療画像データの効率的かつスケーラブルな再構成を可能にする。
• ティコノフフレームワークにおける学習済み事前分布を用いることで、低線量CT やアンダーサンプリングMRI などの不適切に定義された逆問題における画像品質を向上させる。
• 全変動および辞書ベースの正則化手法と比較して、優れた定量的性能を達成する。

提案手法

• 事前学習済みの深層ニューラルネットワークを用いて事前画像を生成し、それをティコノフ正則化フレームワークに組み込むことで、正則化とデータ整合性を分離する。
• 深層ネットワークの出力を逸脱するのを抑えるティコノフ型正則化項を適用し、妥当な画像解を促進する。
• 計算負荷を低減するため、大規模な画像やボリュームをパッチまたはスライスとして処理する。これにより、反復的アーキテクチャで通常は不可能なほど複雑なアーキテクチャの使用が可能になる。
• 標準の反復ネットワークや全変動よりも、学習済み事前分布を用いることでノイズおよびアーチファクトの抑制をより効果的に行う。
• 最終解がデータ適合性と事前分布に基づく正則化の両方をバランスさせる変分再構成フレームワークに事前分布を統合する。
• 事前学習済みの事前分布ネットワークを、再構成パイプラインに組み込む前に大規模データセットで独立して訓練することで、一般化性と安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの深層ニューラルネットワークは、大規模な医療画像再構成におけるティコノフ正則化の有効でスケーラブルな事前分布として機能できるか？
• RQ2 データ整合性から事前分布学習を分離することで、3Dおよび大規模2D医療画像問題における計算の現実性が向上するか？
• RQ3 画像やボリュームをパッチベースで処理することで、計算コストが著しく増大する中で、複雑なニューラルネットワークの使用が可能になるか？
• RQ4 本手法は、PSNR、NRMSE、SSIMという観点で、全変動および学習済み辞書ベースの正則化手法と比較して、定量的にどのように優れているか？
• RQ5 エンドツーエンドの反復的深層学習手法と比較して、正則化ステップの高速化はどの程度達成されるか？

主な発見

• 本手法は、3Dコーンビーム低線量CTにおいて、全変動最小化および学習済み辞書ベースの正則化手法を、すべての定量的指標で上回った。
• 2Dラジアルコーンビームcine MRI再構成においても、ベースライン手法よりもPSNR、NRMSE、SSIMの観点で優れた結果を達成した。
• 事前学習済みの深層ネットワークを事前分布として用いることで、標準の反復ネットワークよりもノイズおよびアーチファクトの抑制がより効果的となった。
• パッチベースの処理戦略により、計算複雑度が低減され、通常は反復アーキテクチャで実現不可能なほど深い・複雑なネットワークの使用が可能になった。
• エンドツーエンドの反復的深層学習手法と比較して、正則化ステップが数個のオーダー速くなった。
• 本手法は、低線量CT やアンダーサンプリングMRI を含む、さまざまな画像モodalities において、強力な一般化性能を示した。