[論文レビュー] X2CT-GAN: Reconstructing CT from Biplanar X-Rays with Generative Adversarial Networks

Xingde Ying, Heng Guo+4 more|arXiv (Cornell University)|May 16, 2019

Medical Imaging Techniques and Applications参考文献 38被引用数 24

ひとこと要約

本稿では、2つの直交する2次元X線画像から3次元CTボリュームを再構築するための生成的敵対ネットワークX2CT-GANを提案する。本手法は、新規の3次元から2次元への特徴統合メカニズムとスキップ接続モジュールを用いて解剖学的正確性を向上させる。バイプランアーライツ入力において26.19 dBのPSNRを達成し、単一視野および非GANベースラインを著しく上回り、臨床的ニッチにおける低コスト・低線量の3次元画像診断の可能性を示している。

ABSTRACT

Computed tomography (CT) can provide a 3D view of the patient's internal organs, facilitating disease diagnosis, but it incurs more radiation dose to a patient and a CT scanner is much more cost prohibitive than an X-ray machine too. Traditional CT reconstruction methods require hundreds of X-ray projections through a full rotational scan of the body, which cannot be performed on a typical X-ray machine. In this work, we propose to reconstruct CT from two orthogonal X-rays using the generative adversarial network (GAN) framework. A specially designed generator network is exploited to increase data dimension from 2D (X-rays) to 3D (CT), which is not addressed in previous research of GAN. A novel feature fusion method is proposed to combine information from two X-rays.The mean squared error (MSE) loss and adversarial loss are combined to train the generator, resulting in a high-quality CT volume both visually and quantitatively. Extensive experiments on a publicly available chest CT dataset demonstrate the effectiveness of the proposed method. It could be a nice enhancement of a low-cost X-ray machine to provide physicians a CT-like 3D volume in several niche applications.

研究の動機と目的

• 2次元X線画像が2つしかないという制限のもとで、従来のCT再構築法に必要な十分なデータが欠如している3次元CTボリュームの再構築という課題に対処すること。
• 大規模なトレーニングデータセットからの解剖学的事前知識を活用することで、2次元X線から3次元CTへのマッピングに伴う深刻な不確実性を克服すること。
• 2次元入力から3次元出力への次元拡張を処理できるGANベースのフレームワークを構築し、従来のGAN研究では取り扱われていなかったギャップを埋めること。
• 2つの直交するX線視野から得られる補完的特徴を新規の特徴統合モジュールを用いて統合することで、再構築品質を向上させること。
• 低コストX線装置を臨床的実用に活用できるように、診断的有用性を持つCTに類似した3次元ボリュームを生成することで、臓器の測定や治療計画に役立つこと。

提案手法

• 2次元X線入力を3次元CTボリュームにアップサンプリングするカスタムジェネレータネットワークを設計し、2次元から3次元への次元拡張を明示的に処理する。
• 背後前向および側面X線画像からの特徴を統合する新規の特徴統合モジュールを採用し、補完的解剖学的情報を活用する。
• 2次元と3次元の特徴マップを接続するスキップ接続モジュールを導入し、勾配の流れを改善し、異なるモodal間での特徴保持を向上させる。
• 混合損失関数を用いてモデルを訓練する：再構築精度を確保するための平均二乗誤差（MSE）、現実性を向上させるための敵対的損失、X線画像への整合性を保つための投影損失。
• 公開済みの胸部CTデータセットを用いてデジタル再構成レントゲン（DRR）を適用し、合成X線ペアを生成し、CycleGANを用いて実際のX線のスタイルを合成データに転送する。
• 入力X線を条件として用いることで、条件付きGANトレーニングを実施し、生成されたCTボリュームの現実性と解剖学的正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2次元X線画像が2つしかないという制約のもとで、逆問題に内在する不確実性を抱えながらも、深層生成モデルが高品質な3次元CTボリュームを再構築できるか？
• RQ2 単一視野X線入力と比較して、バイプランアーライツ入力は3次元CT再構築品質および解剖学的正確性においてどのように差を示すか？
• RQ3 合成データでトレーニングされたGANベースのフレームワークが、実世界のX線データに対してテストされた際、2次元X線から3次元CTへのマッピングを効果的に学習できるか？
• RQ4 特徴統合、スキップ接続、損失関数といったアーキテクチャ的要素の中で、再構築の正確性と現実性を向上させるために最も重要となるのはどれか？
• RQ5 生成されたCTボリュームが、臓器サイズの測定や放射線治療計画といった臨床的タスクをどの程度サポートできるか？

主な発見

• X2CT-GANはバイプランアーライツ入力に対して26.19 dBのPSNRを達成し、単一視野X線再構築と比較して4 dBの向上を示し、二重視野入力の利点を実証した。
• 提案された特徴統合モジュールおよびスキップ接続モジュールは再構築品質を顕著に向上させ、スキップ接続がなくてもバイプランアーライツ入力は単一視野入力よりも優れた性能を示した。
• MSE、敵対的損失、投影損失を統合した完全なGANフレームワークが最も優れた結果を示し、敵対的損失または再構築損失のみを用いたモデルを上回った。
• 実X線を用いた定性的な評価では、肺や表面構造の妥当な3次元再構築が得られ、強調された領域では高い解剖学的正確性を示した。
• CycleGANを用いたスタイル転送を組み合わせたことで、合成X線でトレーニングされたモデルが実世界データに対しても良好に一般化され、ドメインシフトに対して頑健であることが示された。
• 本手法により、低コストX線装置から診断的有用性を持つ3次元可視化が可能となり、臓器測定、術前計画、線量計画などの応用が可能になった。