[論文レビュー] PMPBench: A Paired Multi-Modal Pan-Cancer Benchmark for Medical Image Synthesis

Yifan Chen, Fei Yin+3 more|arXiv (Cornell University)|Jan 22, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

PMPBenchを多数の臓器に跨るCE/NCE対比CT/MRの公開・完全ペアデータセットとして紹介し、欠測モダリティ画像合成のためのFlowMIという流れベースの手法を提示。ベースラインを上回る。

ABSTRACT

Contrast medium plays a pivotal role in radiological imaging, as it amplifies lesion conspicuity and improves detection for the diagnosis of tumor-related diseases. However, depending on the patient's health condition or the medical resources available, the use of contrast medium is not always feasible. Recent work has explored AI-based image translation to synthesize contrast-enhanced images directly from non-contrast scans, aims to reduce side effects and streamlines clinical workflows. Progress in this direction has been constrained by data limitations: (1) existing public datasets focus almost exclusively on brain-related paired MR modalities; (2) other collections include partially paired data but suffer from missing modalities/timestamps and imperfect spatial alignment; (3) explicit labeling of CT vs. CTC or DCE phases is often absent; (4) substantial resources remain private. To bridge this gap, we introduce the first public, fully paired, pan-cancer medical imaging dataset spanning 11 human organs. The MR data include complete dynamic contrast-enhanced (DCE) sequences covering all three phases (DCE1-DCE3), while the CT data provide paired non-contrast and contrast-enhanced acquisitions (CTC). The dataset is curated for anatomical correspondence, enabling rigorous evaluation of 1-to-1, N-to-1, and N-to-N translation settings (e.g., predicting DCE phases from non-contrast inputs). Built upon this resource, we establish a comprehensive benchmark. We report results from representative baselines of contemporary image-to-image translation. We release the dataset and benchmark to catalyze research on safe, effective contrast synthesis, with direct relevance to multi-organ oncology imaging workflows. Our code and dataset are publicly available at https://github.com/YifanChen02/PMPBench.

研究の動機と目的

• 腫瘍学におけるマルチモーダル翻訳のため、11臓器にまたがる大規模で公開可能なペアCE/NCE画像データセットを作成する。
• 公開された欠測モダリティ合成のベンチマークとして、臨床的に有用な1→1、N→1、1→N翻訳タスクを定義する。
• 非対比入力から対比強調画像を正確に合成しつつ、任意の欠測データパターンを扱える手法を開発・ベンチマークする。
• FlowMIを提案し、流れベースの潜在空間欠損推定モデルとして、欠測モダリティ存在下でのクロスモダリティ翻訳の頑健性と精度を向上させる。

提案手法

• CTおよびMRのCE/NCEスキャンを患者ごとに明示的に含むPMPBenchを構築し、MRIのDCEシーケンスとCT/CeCTデータをペア化する。
• 3つのベンチマークタスク設定（1→1翻訳、N→1翻訳、1→N翻訳）をモダリティと臓器間で定義する。
• 欠測データを扱えるモダリティ固有エンコーダを備えた多模態VAEと、因子結合の積（product-of-experts）を用いた潜在統合を用いたFlowMIを開発する。
• 欠測モダリティを補完するため、壊れた潜在コードを完全な潜在コードへ写像する潜在空間フロー（ODE）を導入する。
• 再構成損失、潜在整合損失、KL正則化の3つの項を組み合わせた目的関数でFlowMIを訓練し、整合的で妥当な再構成を保証する。
• 標準的な画像品質指標を用いて、PMPBench上で直接法、GANベース、拡散モデル、フロー整合法など多様なベースラインをベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 公開された完全ペアのパンキャンサーCE/NCEデータセットをどのように構築して、クロスモダリティ翻訳の頑健な評価を可能にするか。
• RQ2 Flowベースの潜在推定アプローチは、既存手法と比較して欠測モダリティ合成を改善できるか。
• RQ3 1→1、N→1、1→N翻訳タスクは、非対比入力から対比強調画像を合成する際に複数臓器でどの程度性能を発揮するか。
• RQ4 流れベースのマッチングと従来の生成系フレームワークの相対的長所は、合成CE画像における腫瘍の微細な対比強調の保持においてどのように異なるか。

主な発見

• PMPBenchは11臓器と19の癌種を含み、CTとMRのCE/NCEペアリングを明示的に提供してパンキャンサーのベンチマークを可能にする。
• FlowMIは直接法、GANベース、拡散ベース、他のフロー整合ベースのベースラインをタスクを横断して一貫して上回る。
• FlowMIはCT→CTCおよびDCE相翻訳設定において、定量的忠実度（PSNR/SSIM）と知覚指標（LPIPS、FID、KID）でより高い性能を達成する。
• 潜在フロー推定は任意の欠測モダリティパターン下で頑健な再構成を可能にし、腫瘍の臨床的に関連する対比ディテールを保持する。
• FlowMIは多様な臓器モダリティ間での結果分散を低減し、安定性と一般化能力が向上していることを示す。