[論文レビュー] MedSyn: Text-guided Anatomy-aware Synthesis of High-Fidelity 3D CT Images

Yanwu Xu, Li Sun+3 more|arXiv (Cornell University)|Oct 5, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

MedSynは、放射線科レポートと解剖的セグメンテーションマスクを用いて、高精細な3D肺CT画像合成を実現する階層的でテキスト誘導型の拡散モデルを提案する。256³解像度において、裂け目、気管支、血管などの微細な解剖的構造を保持する点で、GANおよび拡散ベースラインを上回る最先端の性能を達成する。

ABSTRACT

This paper introduces an innovative methodology for producing high-quality 3D lung CT images guided by textual information. While diffusion-based generative models are increasingly used in medical imaging, current state-of-the-art approaches are limited to low-resolution outputs and underutilize radiology reports' abundant information. The radiology reports can enhance the generation process by providing additional guidance and offering fine-grained control over the synthesis of images. Nevertheless, expanding text-guided generation to high-resolution 3D images poses significant memory and anatomical detail-preserving challenges. Addressing the memory issue, we introduce a hierarchical scheme that uses a modified UNet architecture. We start by synthesizing low-resolution images conditioned on the text, serving as a foundation for subsequent generators for complete volumetric data. To ensure the anatomical plausibility of the generated samples, we provide further guidance by generating vascular, airway, and lobular segmentation masks in conjunction with the CT images. The model demonstrates the capability to use textual input and segmentation tasks to generate synthesized images. The results of comparative assessments indicate that our approach exhibits superior performance compared to the most advanced models based on GAN and diffusion techniques, especially in accurately retaining crucial anatomical features such as fissure lines, airways, and vascular structures. This innovation introduces novel possibilities. This study focuses on two main objectives: (1) the development of a method for creating images based on textual prompts and anatomical components, and (2) the capability to generate new images conditioning on anatomical elements. The advancements in image generation can be applied to enhance numerous downstream tasks.

研究の動機と目的

• 自由テキストの放射線科レポートを条件とする高解像度3D CT画像生成手法の開発を目的とする。
• 3Dボリューム拡散モデルにおけるメモリ使用量と解剖的忠実度の課題を解決することを目的とする。
• 気管支、肺葉、血管の解剖的セグメンテーションを補助的ガイダンスとして統合し、構造の妥当性を向上させることを目的とする。
• 複雑な肺動脈解剖を微細な病理的制御で制御可能かつテキスト条件付きに合成できることを目的とする。
• テキストとセグメンテーションの事前知識のみを用いて、256³解像度の臨床的に現実的な3D CTボリュームを生成する可能性を示すこと。

提案手法

• 階層的生成フレームワークは、まずテキストとノイズを条件とする64³低解像度ボリュームを生成し、その後段階的に256³にアップスケーリングする。
• 高解像度3D特徴を効率的に処理できるように、空間的およびチャネルワイドのアテンションを備えた変更版UNetアーキテクチャが使用される。
• 放射線科レポートからのテキスト埋め込みが、各段階でのノイズ除去プロセスを誘導する条件付き事前知識として用いられる。
• CTボリュームの生成と並行して、気管支、肺葉、血管の解剖的セグメンテーションマスクが予測され、解剖的整合性が保証される。
• ノイズ除去拡散目的関数を用いて、約9,000組のペアド3D CTスキャンと放射線科レポート上で、エンドツーエンドに訓練される。
• 2段階の訓練戦略により、低解像度生成と高解像度の最適化を分離し、メモリ消費量を削減する。

実験結果

リサーチクエスチョン

• RQ1 テキスト誘導型3D拡散モデルは、256³解像度において、微細な解剖的構造を保持しながら高精細な肺CTボリュームを生成できるか？
• RQ2 解剖的セグメンテーションマスクを組み込むことで、生成されたCT画像の妥当性と忠実度はどのように向上するか？
• RQ3 放射線科レポートは、3D CTボリュームにおける複雑な病理的特徴の合成をどの程度適切に誘導できるか？
• RQ4 階層的生成アプローチは、画像品質を損なわせることなく、メモリ使用量を効果的に削減できるか？
• RQ5 モデルは、放射線科レポートに記載された微細な変動を反映した多様で解剖学的に妥当なサンプルを生成できるか？

主な発見

• MedSynは、最先端のGANおよび拡散モデルと比較して、特に裂け目線、気管支、血管構造の保持において優れた解剖的忠実度を達成する。
• モデルは、定性的および定量的比較により、高精細な知覚的品質を持つ256³解像度の3D CTボリュームを生成する。
• テキストプロンプトの組み込みによりセグメンテーション性能が向上し、気管支のDSCスコアが0.70から0.75に、肺葉のDSCスコアが0.69から0.77に上昇する。
• 階層的設計により、段階的生成によってメモリ消費量を削減することで、高解像度での訓練と推論が可能になる。
• モデルは、報告書に記載されたグローバルな解剖的特徴および病変を、強力に再現するが、微細な高解像度変化の再現は依然として挑戦的である。
• プロンプト誘導型ボリュームセグメンテーションの可能性を示しており、放射線科レポートに条件付けられることで性能が向上する。