[論文レビュー] Deep Embedding Convolutional Neural Network for Synthesizing CT Image from T1-Weighted MR Image

Lei Xiang, Qian Wang+4 more|arXiv (Cornell University)|Sep 7, 2017

Advanced Image Processing Techniques参考文献 38被引用数 15

ひとこと要約

本稿では、一時的なCT出力を繰り返し特徴空間に埋め込むことで、繰り返しの特徴マップの最適化を実現する、深層埋め込み畳み込みニューラルネットワーク（DECNN）を提案する。この手法は、脳および前立腺のデータセットにおいて、最先端の手法と比較して優れた合成品質と高速な推論を達成した。

ABSTRACT

Recently, more and more attention is drawn to the field of medical image synthesis across modalities. Among them, the synthesis of computed tomography (CT) image from T1-weighted magnetic resonance (MR) image is of great importance, although the mapping between them is highly complex due to large gaps of appearances of the two modalities. In this work, we aim to tackle this MR-to-CT synthesis by a novel deep embedding convolutional neural network (DECNN). Specifically, we generate the feature maps from MR images, and then transform these feature maps forward through convolutional layers in the network. We can further compute a tentative CT synthesis from the midway of the flow of feature maps, and then embed this tentative CT synthesis back to the feature maps. This embedding operation results in better feature maps, which are further transformed forward in DECNN. After repeat-ing this embedding procedure for several times in the network, we can eventually synthesize a final CT image in the end of the DECNN. We have validated our proposed method on both brain and prostate datasets, by also compar-ing with the state-of-the-art methods. Experimental results suggest that our DECNN (with repeated embedding op-erations) demonstrates its superior performances, in terms of both the perceptive quality of the synthesized CT image and the run-time cost for synthesizing a CT image.

研究の動機と目的

• モodal間で顕著な外観差が生じるT1強調MR画像からCT画像を合成する課題に対処すること。
• 畳み込みニューラルネットワークに新たな深層埋め込み機構を導入することで、合成品質と推論速度を向上させること。
• 放射線治療計画や画像誘導手術などの応用分野において、正確で視覚的に現実的なCT画像生成を可能にすること。
• 脳および前立腺を含む多様な解剖的領域で手法を検証し、異なる組織および構造に対しても頑健であることを示すこと。

提案手法

• 本手法は、入力のT1強調MR画像から特徴マップをまず抽出する深層畳み込みニューラルネットワークを採用する。
• 中間特徴マップを用いて、ネットワーク内での順方向伝搬により一時的なCT画像を生成する。
• その後、学習された変換により一時的なCT出力を特徴空間に再び埋め込むことで、特徴マップを精錬する。
• この埋め込みプロセスをネットワークアーキテクチャ内で複数回繰り返し、段階的に特徴表現を改善する。
• 精錬された特徴は、その後の層を通過して最終的な高品質なCT合成画像を生成する。
• 画像の解剖的詳細と忠実度を保持するため、人間の知覚損失と再構成損失を用いて、エンドツーエンドでネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 中間のCT予測を特徴マップに繰り返し埋め込むことで、MRからCTへの画像合成品質が向上するか？
• RQ2 視覚的品質および推論速度の観点から、提案されたDECNNは既存手法と比較してどのように差をつけるか？
• RQ3 埋め込み機構は、クロスモodal画像変換のための特徴表現学習をどのように向上させるか？
• RQ4 本手法は、脳および前立腺のような異なる解剖的領域に一般化可能か？
• RQ5 繰り返しの埋め込み操作が、最終的なCT合成性能に与える影響は何か？

主な発見

• 提案されたDECNNは、脳および前立腺データセットにおいて、最先端の手法と比較して視覚的品質および推論速度の両面で優れている。
• 繰り返し埋め込み機構により、特徴表現が顕著に向上し、より正確で解剖学的に妥当なCT合成が実現された。
• 競合手法と比較して、推論時間が短縮されており、臨床現場への導入に適している。
• PSNRやSSIMなどの定量的指標は、ベースラインモデルと比較して一貫した改善を示した。
• 異なる解剖的領域にわたる一般化性能が高く、組織および構造の変動に対しても頑健であることが示された。
• 視覚的検証により、合成されたCT画像が細部および皮質・骨性領域の構造的整合性を保持していることが確認された。