[論文レビュー] GenerateCT: Text-Conditional Generation of 3D Chest CT Volumes

İbrahim Ethem Hamamcı, Sezgin Er+14 more|arXiv (Cornell University)|May 25, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

GenerateCT は、自己回帰的 CT ボリューム符号化にため因果的ビジョン Transformer を使用し、テキストと画像の変換器を用いてクロスモダリティの整合性を確保し、テキスト条件付き超解像拡散モデルにより自由形式のレントゲン報告書から高精細・高解像度の 3D ボリュームを生成する、革新的なテキスト条件付き 3D 胸部 CT 生成フレームワークである。データ拡張において最先端の性能を達成し、11%（AP）の多病変分類性能向上を実現し、100,000 個の合成ボリュームを用いて学習した場合、実データのみを用いたモデルを 8% 上回った。

ABSTRACT

GenerateCT, the first approach to generating 3D medical imaging conditioned on free-form medical text prompts, incorporates a text encoder and three key components: a novel causal vision transformer for encoding 3D CT volumes, a text-image transformer for aligning CT and text tokens, and a text-conditional super-resolution diffusion model. Without directly comparable methods in 3D medical imaging, we benchmarked GenerateCT against cutting-edge methods, demonstrating its superiority across all key metrics. Importantly, we evaluated GenerateCT's clinical applications in a multi-abnormality classification task. First, we established a baseline by training a multi-abnormality classifier on our real dataset. To further assess the model's generalization to external data and performance with unseen prompts in a zero-shot scenario, we employed an external set to train the classifier, setting an additional benchmark. We conducted two experiments in which we doubled the training datasets by synthesizing an equal number of volumes for each set using GenerateCT. The first experiment demonstrated an 11% improvement in the AP score when training the classifier jointly on real and generated volumes. The second experiment showed a 7% improvement when training on both real and generated volumes based on unseen prompts. Moreover, GenerateCT enables the scaling of synthetic training datasets to arbitrary sizes. As an example, we generated 100,000 3D CTs, fivefold the number in our real set, and trained the classifier exclusively on these synthetic CTs. Impressively, this classifier surpassed the performance of the one trained on all available real data by a margin of 8%. Last, domain experts evaluated the generated volumes, confirming a high degree of alignment with the text prompt. Access our code, model weights, training data, and generated data at https://github.com/ibrahimethemhamamci/GenerateCT

研究の動機と目的

• 3D 医療画像におけるデータ不足とプライバシー制限を解決するため、高精細な 3D 胸部 CT ボリュームをテキスト条件付きで生成することを目的とする。
• 医療画像分野における事前学習済み 3D ビジョン・言語モデルの不足を補うために、3D CT 合成のための新規カスケードフレームワークを導入することを目的とする。
• 合成 CT ボリュームの臨床的有用性を、データ拡張および多病変分類におけるゼロショット一般化の文脈で評価することを目的とする。
• ペaired 学習データを必要とせず、自由形式の医療テキストプロンプトを用いて、スケーラブルでプライバシー保護されたデータ生成を可能とすることを目的とする。
• コードおよび事前学習済みモデルの公開を通じて、今後の研究の基盤を確立することを目的とする。

提案手法

• GenerateCT は、3D CT ボリュームをトークンに自己回帰的に符号化するため、因果的ビジョン Transformer（CT-ViT）を用いる。これにより、可変な軸方向視野と高解像度スライス再構築が可能となる。
• 双方向テキスト・画像変換器は、自由形式のレントゲン報告書からのテキスト埋め込みと符号化済み CT トークンを、自己注意の監視としてマスクされた CT トークン予測を用いて整合性をとる。
• カスケード型テキスト条件付き超解像拡散モデルは、入力プロンプトの意味的整合性を保ちながら、低解像度の軸方向スライスの画素内解像度を向上させる。
• フレームワークは、CT-ViT に対する再構築損失と、超解像に対する拡散損失を組み合わせ、テキストプロンプトを条件信号として、エンドツーエンドで学習される。
• 同じテキストプロンプトを複数回再利用することで、合成データセットを任意のサイズにスケーリング可能な柔軟なデータ生成を可能とする。
• アーキテクチャは、3D ボリューム全体にわたり空間的整合性と解剖学的リアリズムを維持するとともに、複雑な自由形式レントゲン報告書と整合性を保つように設計されている。

Figure 2 : The GenerateCT architecture consists of three main components. (1) The CT-ViT encoder architecture processes the embeddings of CT patches from raw slices S through a spatial transformer followed by a causal transformer (auto-regressive in-depth), generating CT tokens. (2) The vision-langu

実験結果

リサーチクエスチョン

• RQ1 自由形式のレントゲン報告書からテキスト条件付き生成モデルが高精細で現実的な 3D 胸部 CT ボリュームを生成できるか？
• RQ2 GenerateCT が生成する合成 CT ボリュームは、下流の多病変分類モデルの性能をどの程度向上できるか？
• RQ3 GenerateCT は、ゼロショット設定において外部データセットや未学習のテキストプロンプトに対してどの程度一般化できるか？
• RQ4 GenerateCT が生成する合成データは、分類タスクにおいて実データのみを用いたモデルを上回ることができるか？
• RQ5 データスケールとプロンプト多様性は、生成された CT ボリュームの品質および一般化性能にどのような影響を及えるか？

主な発見

• 20,000 枚の実データと 20,000 枚の GenerateCT が生成した合成 CT ボリュームを含む混合データセットで多病変分類器を学習したところ、実データのみで学習した場合に比べ、平均平均精度（AP）が 11% 向上した。
• 100,000 枚の合成 CT ボリューム（実データセットの 5 倍）のみで学習した分類器は、実データのみのモデルを平均 AP で 8%、平均 AUROC で 4% 上回った。
• RadChestCT データセットにおけるゼロショット評価では、未学習のプロンプトから生成された合成データで学習した分類器が平均 AP 0.146 を達成し、実データベースラインの 0.177 に近く、良好な性能を示した。
• ゼロショット設定における実データと合成データの組み合わせは、平均 AUROC 0.623 および平均 AP 0.190 を達成し、個別の実データおよび合成データベースラインを上回った。
• ドメインエキスパートは、生成された CT ボリュームが入力テキストプロンプトと高い整合性を示しており、意味的および解剖学的整合性が強いことを確認した。
• モデルは、繰り返しプロンプトを用いて 100,000 個の合成ボリュームを生成することで、大規模かつプライバシー保護されたデータ拡張の有効性を実証した。

Figure 3 : Examples of generated chest CT volumes within the practical HU scale limits of $[-1000~{}\text{HU},+1000~{}\text{HU}]$ . Each example includes three sequential slices from the same volume, highlighting GenerateCT’s ability to maintain consistency across multiple slices.