[論文レビュー] Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient consistency loss and training data size

Yuta Hiasa, Yoshito Otake+6 more|arXiv (Cornell University)|Mar 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 21

ひとこと要約

本稿では、大腿骨および骨盤領域のMR画像からCT画像を合成するための、勾配一貫性（GC）損失を導入した拡張されたCycleGANフレームワークを提案する。302例のMRおよび613例のCTボリュームから成る大規模な非ペアドデータセットを用いて実験を行った。GC損失により境界の正確性が向上し、結果として、より大きな学習データとGC損失の併用が、画像合成の忠実性および下流のセグメンテーション性能を顕著に向上させた。合成画像上での骨盤部の平均DICEは0.808 ± 0.036、大腿骨部は0.883 ± 0.029を達成した。

ABSTRACT

CT is commonly used in orthopedic procedures. MRI is used along with CT to identify muscle structures and diagnose osteonecrosis due to its superior soft tissue contrast. However, MRI has poor contrast for bone structures. Clearly, it would be helpful if a corresponding CT were available, as bone boundaries are more clearly seen and CT has standardized (i.e., Hounsfield) units. Therefore, we aim at MR-to-CT synthesis. The CycleGAN was successfully applied to unpaired CT and MR images of the head, these images do not have as much variation of intensity pairs as do images in the pelvic region due to the presence of joints and muscles. In this paper, we extended the CycleGAN approach by adding the gradient consistency loss to improve the accuracy at the boundaries. We conducted two experiments. To evaluate image synthesis, we investigated dependency of image synthesis accuracy on 1) the number of training data and 2) the gradient consistency loss. To demonstrate the applicability of our method, we also investigated a segmentation accuracy on synthesized images.

研究の動機と目的

• 大腿骨領域におけるMRスキャンから正確なCT画像を生成する課題に取り組む。ここでは、解剖学的ばらつきと強度の一貫性の欠如が、従来手法の性能を制限している。
• CycleGANフレームワークに勾配一貫性損失を導入することで、クロスモodalな画像合成における境界の保持を改善する。
• 学習データのサイズとGC損失が、筋骨格系画像の合成精度およびセグメンテーション性能に与える影響を評価する。
• ラベルなしMRデータから合成されたCT画像を用いたモodal独立型セグメンテーションの可能性を示す。

提案手法

• 実画像と合成画像間の構造的整合性、特に組織境界部で強化されるよう、勾配一貫性（GC）損失を用いた拡張されたCycleGANを採用。
• サイクル一貫性と adversarial 損失を用いて、生成器 $G_{CT}$ および $G_{MR}$ を訓練し、MRとCT間の変換を実現。
• すべてのMRボリュームに対してN4ITK強度不均一性補正を適用し、強度の非一様性を低減。
• 2次元U-Netセグメンテーションネットワークを用い、2チャネル入力（MRおよび合成CT）を統合して、合成データ上で共同セグメンテーションを実行。
• 学習データサイズ（20～613例のCTおよび302例のMRボリューム）を変化させ、GC損失の有無を変えてアブレーションスタディを実施。
• 画像合成の評価には相互情報量と定性的な視覚的検査を、セグメンテーションの評価にはペアド正解を用いたDICE係数を用いた。

実験結果

リサーチクエスチョン

• RQ1 非ペアド学習データの数を増やすことで、CycleGANを用いたMR-CT画像合成の品質はどのように向上するか？
• RQ2 勾配一貫性損失を組み込むことで、MR入力から得られる合成CT画像の境界の正確性は向上するか？
• RQ3 合成CT画像を補助入力として用いることで、MRボリューム上のセグメンテーション性能は顕著に向上するか？
• RQ4 大規模データとGC損失の組み合わせは、ベースラインのCycleGANと比較して、セグメンテーション精度および画像忠実度の面で優れているか？

主な発見

• より大きな学習データサイズ（302例のMRおよび613例のCTボリューム）を用いることで、相互情報量を指標として測定した画像合成精度が、小規模データセットと比較して顕著に向上した。
• 勾配一貫性損失の導入により、特に大腿骨頭および内転筋周辺の境界が明確に鋭くなり、視覚的検査で確認された。
• 両方の要因（大規模データとGC損失）を組み合わせることで、合成画像上でのセグメンテーション精度が向上し、骨盤部の平均DICEは0.808 ± 0.036、大腿骨部は0.883 ± 0.029を達成した。
• GC損失は特に臀筋最小筋のセグメンテーション性能を向上させ、p < 0.01の有意差を示し、大規模データとGC損失を併用した場合のDICEは0.669 ± 0.054を達成した。
• 合成CT画像を用いたモダリティ独立型セグメンテーションアプローチは、単一モダリティのMRセグメンテーションと同等またはそれ以上の結果を示した。5分割交差検証において、骨盤部のDICEは0.815 ± 0.046、大腿骨部は0.921 ± 0.023を達成した。