[論文レビュー] Evaluation of CT Image Synthesis Methods:From Atlas-based Registration to Deep Learning

Andreas D. Lauritzen, Xenophon Papademetris+2 more|arXiv (Cornell University)|Jun 11, 2019

Medical Imaging Techniques and Applications被引用数 6

ひとこと要約

本論文は、MRIからCTへの画像合成手法を評価し、アトラスベースのレジistration、ディープラーニング（2D/3D U-Net、敵対的、およびボーン重み付きU-Net）、およびマルチアトラスPRIORとディープラーニングを組み合わせた新規ハイブリッド手法を比較する。敵対的学習を用いた2D U-Netが、性能、速度、メモリ効率のバランスが最も良く、3Dモデルを上回り、直接MRIからのセグメンテーションよりも正確な骨セグメンテーションを可能にする。

ABSTRACT

Computed tomography (CT) is a widely used imaging modality for medical diagnosis and treatment. In electroencephalography (EEG), CT imaging is necessary for co-registering with magnetic resonance imaging (MRI) and for creating more accurate head models for the brain electrical activity due to better representation of bone anatomy. Unfortunately, CT imaging exposes patients to potentially harmful sources of ionizing radiation. Image synthesis methods present a solution for avoiding extra radiation exposure. In this paper, we perform image synthesis to create a realistic, synthetic CT image from MRI of the same subject, and we present a comparison of different image synthesis techniques. Using a dataset of 30 paired MRI and CT image volumes, our results compare image synthesis using deep neural network regression, state-of-the-art adversarial deep learning, as well as atlas-based synthesis utilizing image registration. We also present a novel synthesis method that combines multi-atlas registration as a prior to deep learning algorithms, in which we perform a weighted addition of synthetic CT images, derived from atlases, to the output of a deep neural network to obtain a residual type of learning. In addition to evaluating the quality of the synthetic CT images, we also demonstrate that image synthesis methods allow for more accurate bone segmentation using the synthetic CT imaging than would otherwise be possible by segmenting the bone in the MRI directly.

研究の動機と目的

• アトラスベースのレジISTRATIONおよびディープラーニングモデルを含む、複数のMRIからCTへの画像合成技術を評価・比較すること。
• 画像合成が骨セグメンテーションの正確性に与える影響を評価すること、特に合成CTと直接MRIからのセグメンテーションを比較すること。
• マルチアトラスレジISTRATIONをディープニューラルネットワークの事前分布として用いる新規ハイブリッド手法を提案・評価すること。
• MRIからCTへの画像合成における、モデルの複雑さ、トレーニング時間、推論速度、画像品質の最適なトレードオフを特定すること。
• 合成CT画像が直接MRIベースのセグメンテーションよりも正確な骨セグメンテーションを可能にすることを示すこと。

提案手法

• 非剛性およびアフィン変換を用いて最適化された強度ベースのレジISTRATIONを用い、T1強調MRIおよびCTアトラス対を、ターゲット被験者のMRIにレジISTRATIONするマルチアトラスレジISTRATION。
• 2D MRIスライスからCT画像を予測するためのスキップ接続付き2D U-Netを、平均絶対誤差（MAE）損失を用いてトレーニングし、データオーグメンテーションおよび正規化を適用。
• 2D U-Netの敵対的バージョンは、パッチGAN識別器を用いて、合成CT画像の知覚的リアリズムおよび高周波数ディテールを向上。
• 損失関数内で骨領域を強調することで、骨構造における合成の正確性を向上させるためにボーン重み付き損失をトレーニング中に適用。
• マルチアトラスレジISTRATIONの出力を、重み付き残差加算によりディープニューラルネットワークと融合させることで、最終的な合成CT画像を精緻化する新規ハイブリッド手法を採用。
• すべてのモデルは、頭部全体および骨マスク領域に対してPSNR、MAE、SSIM、PCCを用いて評価され、合成CT画像上でk-meansクラスタリングを用いて骨セグメンテーションが実施された。

実験結果

リサーチクエスチョン

• RQ1 PSNR、MAE、SSIM、PCCといった定量的画像品質指標において、異なるMRIからCTへの画像合成手法はどのように比較されるか？
• RQ2 合成CT画像は、直接MRIからのセグメンテーションよりも骨セグメンテーションをより正確に可能にするか？
• RQ3 2D U-Netは、MRIからCTへの画像合成において、トレーニング時間、推論速度、パフォーマンスの観点で3D U-Netを上回るか？
• RQ4 マルチアトラスレジISTRATIONを事前分布としてディープラーニングと組み合わせることで、合成品質およびセグメンテーション正確性が向上するか？
• RQ5 敵対的学習は、合成CT画像の知覚的品質および構造的忠実度にどのように影響するか？

主な発見

• 敵対的学習を用いた2D U-Netは、骨マスク領域で最高のPSNR（41.59 dB）およびSSIM（0.97）を達成し、3D U-Netおよび他のベースライン手法を上回った。
• 2D U-Netモデルは、頭部全体で平均PSNR 28.01 dB、骨領域で41.61 dBを達成し、トレーニング時間はわずか16時間で、3D U-Netの54時間に比べて顕著に高速であった。
• 2D U-Netが生成した合成CT画像は、真値骨セグメンテーションとのDICE重複率が0.65を達成し、直接MRIからのセグメンテーション（DICE = 0.63）を上回った。
• 3D U-Netモデルは軸断層像において視覚的にシャープな画像を生成したが、PSNRはわずかに低く（41.51 dB）、推論時間も顕著に長く（2Dモデルの10秒対比50～65秒）なった。
• アトラスPRIORとディープラーニングを組み合わせた新規ハイブリッド手法は、目立つアトラス境界を伴い、知覚的に現実的でない画像を生成したため、融合戦略の見直しが必要であることが示された。
• ボーン重み付き2D U-Netは、標準2D U-Net（9.09）と比較して、骨領域におけるMAEを10.06に改善し、骨構造の局所化が向上したことを示唆した。