[論文レビュー] XRayGAN: Consistency-preserving Generation of X-ray Images from Radiology Reports

Xingyi Yang, Nandiraju Gireesh+2 more|arXiv (Cornell University)|Jun 17, 2020

Multimodal Machine Learning Applications参考文献 35被引用数 4

ひとこと要約

XRayGANは、視点整合性ネットワーク、マルチスケールプログレッシブ GAN、階層的アテンションエンコーダーを用いて、レポートから視点整合性があり高解像度で高忠実度のレントゲン画像を生成する。ベースラインと比較して優れた画像品質と臨床的整合性を達成し、臨床的テキストからの医用画像生成分野における新たなベンチマークを確立した。

ABSTRACT

To effectively train medical students to become qualified radiologists, a large number of X-ray images collected from patients with diverse medical conditions are needed. However, due to data privacy concerns, such images are typically difficult to obtain. To address this problem, we develop methods to generate view-consistent, high-fidelity, and high-resolution X-ray images from radiology reports to facilitate radiology training of medical students. This task is presented with several challenges. First, from a single report, images with different views (e.g., frontal, lateral) need to be generated. How to ensure consistency of these images (i.e., make sure they are about the same patient)? Second, X-ray images are required to have high resolution. Otherwise, many details of diseases would be lost. How to generate high-resolutions images? Third, radiology reports are long and have complicated structure. How to effectively understand their semantics to generate high-fidelity images that accurately reflect the contents of the reports? To address these three challenges, we propose an XRayGAN composed of three modules: (1) a view consistency network that maximizes the consistency between generated frontal-view and lateral-view images; (2) a multi-scale conditional GAN that progressively generates a cascade of images with increasing resolution; (3) a hierarchical attentional encoder that learns the latent semantics of a radiology report by capturing its hierarchical linguistic structure and various levels of clinical importance of words and sentences. Experiments on two radiology datasets demonstrate the effectiveness of our methods. To our best knowledge, this work represents the first one generating consistent and high-resolution X-ray images from radiology reports. The code is available at https://github.com/UCSD-AI4H/XRayGAN.

研究の動機と目的

• データプライバシー制限のため、多様で高品質なレントゲン画像が不足している状況に対処する。
• 1つのレポートから臨床的に整合性のある前後左右視覚のレントゲン画像を生成する。
• 報告書に記載された複雑な臨床所見を正確に反映する高解像度・高忠実度のレントゲン画像を生成する。
• 報告書内の語句および文の階層的構造と臨床的重要性をモデル化する。
• 特にレントゲン画像合成を対象とした医用画像生成分野におけるテキストから画像への生成タスクに、新たなベンチマークを確立する。

提案手法

• 視点整合性ネットワーク（VCN）は、実際の前後左右視覚のペアレントゲン画像を用いて訓練され、生成画像が同一患者を反映することを保証する。
• マルチスケールの条件付き GAN は、低解像度出力から段階的に高解像度のレントゲン画像を生成する。
• 階層的アテンションエンコーダーは、語彙レベルおよび文レベルの LSTMs にアテンション機構を組み合わせ、報告書内の意味的階層構造と臨床的重要性をモデル化する。
• 生成器は報告書の潜在表現に条件付けられており、VCN の損失が前後視覚間の整合性を促進する。
• トレーニングパイプラインでは、GAN トレーニング中に VCN を正則化子として統合し、解剖学的整合性を促進する。
• 本モデルは2つのレントゲン画像データセットを用いてトレーニングおよび評価され、画像忠実度および整合性の向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、1つの報告書から視点整合性のある前後左右視覚のレントゲン画像を生成できるか？
• RQ2 長く複雑な報告書から、高解像度で高忠実度のレントゲン画像をどのように生成できるか？
• RQ3 階層的アテンション機構は、報告書の意味と生成画像の内容との整合性をどの程度向上できるか？
• RQ4 視点整合性ネットワークを組み込むことで、生成画像の臨床的妥当性はどの程度向上するか？
• RQ5 提案手法は、既存のテキストから画像生成モデルを上回り、臨床的に正確なレントゲン画像を生成できるか？

主な発見

• XRayGANは、前後視覚のレントゲン画像を視覚的に整合性を保って生成し、肺や肋骨などの明確な解剖学的構造が保持されている。
• GAIN-INT-CLS や StackGAN、AttnGAN といったベースラインと比較して、XRayGAN は画像の明瞭さで優れており、より鋭い肋骨の輪郭とより正確な病変表現が得られている。
• XRayGAN が生成した画像は、視覚的検査により報告書に記載された臨床所見（例：右上葉の不透明所見、左後方第5肋骨）を正しく反映している。
• 視点整合性ネットワークは画像整合性を顕著に向上させ、ベースラインモデルでは前後視覚間の整合性が保てていないことが判明した。
• マルチスケールプログレッシブ GAN の設計により、1段階の GAN よりも優れた忠実度で高解像度画像の生成が可能になった。
• 2つのデータセットにおける定量的評価により、XRayGAN は画像品質および整合性において最先端の性能を達成しており、FID およびインセプションスコアの両面で優れた結果を示した。