[論文レビュー] BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys

Yu Gu, Jianwei Yang+6 more|arXiv (Cornell University)|Oct 16, 2023

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

BiomedJourney は prior image と natural-language progression description を条件として counterfactual medical images を生成し、GPT-4 を用いて instruction data を作成し、 latent diffusion を用いた二段階カリキュラムを経て、MIMIC-CXR でベースラインを上回ります。

ABSTRACT

Rapid progress has been made in instruction-learning for image editing with natural-language instruction, as exemplified by InstructPix2Pix. In biomedicine, such methods can be applied to counterfactual image generation, which helps differentiate causal structure from spurious correlation and facilitate robust image interpretation for disease progression modeling. However, generic image-editing models are ill-suited for the biomedical domain, and counterfactual biomedical image generation is largely underexplored. In this paper, we present BiomedJourney, a novel method for counterfactual biomedical image generation by instruction-learning from multimodal patient journeys. Given a patient with two biomedical images taken at different time points, we use GPT-4 to process the corresponding imaging reports and generate a natural language description of disease progression. The resulting triples (prior image, progression description, new image) are then used to train a latent diffusion model for counterfactual biomedical image generation. Given the relative scarcity of image time series data, we introduce a two-stage curriculum that first pretrains the denoising network using the much more abundant single image-report pairs (with dummy prior image), and then continues training using the counterfactual triples. Experiments using the standard MIMIC-CXR dataset demonstrate the promise of our method. In a comprehensive battery of tests on counterfactual medical image generation, BiomedJourney substantially outperforms prior state-of-the-art methods in instruction image editing and medical image generation such as InstructPix2Pix and RoentGen. To facilitate future study in counterfactual medical generation, we plan to release our instruction-learning code and pretrained models.

研究の動機と目的

• 生物医学画像における反事実分析を動機付け、因果構造と頑健な病気進行の解釈を明らかにする。
• 複数モーダルの患者ジャーニー（画像とレポート）を活用して、ガイド付きデータを大規模に合成する。
• 任意の医療進行記述を追跡しつつ患者不変量を保持できる特化型画像編集モデルを開発する。
• データ不足に対処するため、豊富な単一画像–テキスト対を利用する二段階カリキュラムを活用して反事実的トリプル前に対処する。
• 病理学的精度と特徴保持を強調する包括的なメトリクスで MIMIC-CXR 上で評価する。

提案手法

• テキストの進行記述と前画像の両方を条件にするように潜在拡散モデル（LDMs）を拡張する。
• BiomedCLIP をテキストエンコーダとして使用し、UNet への学習可能な射影を持つことで生物医学データに適合させる。
• GPT-4 を用いて二つのレポートを (prior image, progression description, new image) の三つ組にマッピングして instruction-following データを生成する。
• 二段階カリキュラムを実装する：ステージ1 はダミー前画像を用いた画像–テキスト対の事前学習、ステージ2 は実際の前画像を用いた反事実的トリプルで微調整。
• 前画像の埋め込みと潜在ステートを連結し、テキスト記述を参照する二部構成の損失で訓練する：L = E[||epsilon - f_theta(z_t, t, E(D), E(I_P))||^2].
• Stable Diffusion、RoentGen、InstructPix2Pix と比較して病理学的精度と特徴保持の改善を示す。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのモデルは前画像と自由形式の進行記述を条件にして、正確な反事実的医用画像を生成できるか？
• RQ2 多模態ジャーニーと指示学習を組み込むことで、病理変化への整合性を高めつつ患者の不変量（人種、年齢、解剖学）を保持できるか？
• RQ3 反事実的トリプルが乏しい場合、二段階カリキュラムによるデータ拡張が訓練の安定化にどの程度寄与するか？

主な発見

モデル	病理学 AUC	人種 AUC	年齢ピアソン相関係数	CMIG スコア
SD (Rombach et al., 2022)	49.90	77.13	2.73	18.14
IP2P (Brooks et al., 2023)	58.10	78.25	17.82	42.12
RoentGen (Chambon et al., 2022a)	79.61	84.71	28.91	66.08
BiomedJourney (Ours)	80.54	97.22	79.38	83.23

• BiomedJourney はベースラインより病理学的精度（Pathology AUC = 80.54）を達成した。
• BiomedJourney はベースラインより人種特徴の保持（Race AUC = 97.22）を達成した。
• BiomedJourney は年齢関連の特徴をより良く保持（Age Pearson Corr. = 79.38）した。
• BiomedJourney は比較された手法の中で最高の CMIG スコア（CMIG = 83.23）を達成した。
• アブレーションにより二段階訓練と画像登録が病理学的精度と特徴保持を改善し、GPT-4 の記述が Impression-derived の記述を上回ることを示した。