[論文レビュー] MedPrompt: Cross-Modal Prompting for Multi-Task Medical Image Translation

Xuhang Chen, Chi‐Man Pun+1 more|arXiv (Cornell University)|Oct 4, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

MedPromptは、自己適応的プロンプトブロックとプロンプト抽出・融合メカニズムを備えたクロスモーダルプロンプティングフレームワークを提案し、トランスフォーマー・エンコーダーでグローバル特徴の学習を強化することで、マルチタスク医療画像翻訳を実現する。5つのデータセットと4つのモダリティペアにおいて最先端の性能を達成し、シングルステージの学習で優れた視覚的品質と一般化性能を示す。

ABSTRACT

Cross-modal medical image translation is an essential task for synthesizing missing modality data for clinical diagnosis. However, current learning-based techniques have limitations in capturing cross-modal and global features, restricting their suitability to specific pairs of modalities. This lack of versatility undermines their practical usefulness, particularly considering that the missing modality may vary for different cases. In this study, we present MedPrompt, a multi-task framework that efficiently translates different modalities. Specifically, we propose the Self-adaptive Prompt Block, which dynamically guides the translation network towards distinct modalities. Within this framework, we introduce the Prompt Extraction Block and the Prompt Fusion Block to efficiently encode the cross-modal prompt. To enhance the extraction of global features across diverse modalities, we incorporate the Transformer model. Extensive experimental results involving five datasets and four pairs of modalities demonstrate that our proposed model achieves state-of-the-art visual quality and exhibits excellent generalization capability.

研究の動機と目的

• 多様なモダリティにわたるクロスモーダル特徴とグローバル特徴を捉えることのできない既存の医療画像翻訳モデルの限界を解消すること。
• 各ペアの再トレーニングを必要とせず、異なるモダリティペアに一般化可能な包括的でマルチタスクのフレームワークを開発すること。
• トランスフォーマーによるグローバルな文脈モデリングとモダリティ固有のプロンプトを統合することで、翻訳の忠実度を向上させること。
• 複数のモダリティ翻訳タスクを統合的に最適化するシングルステージの学習により、トレーニングの複雑さを低減すること。

提案手法

• 自己適応的プロンプトブロックは、モダリティ固有のプロンプトを用いて翻訳ネットワークを動的にガイドし、異なる入力出力モダリティペアに適応可能にする。
• プロンプト抽出ブロック（PEB）は、各入力モダリティの固有の特徴を符号化することで、モダリティ固有のプロンプト重みを生成する。
• プロンプト統合ブロック（PFB）は、ターゲットモダリティに対する関連性に基づいて抽出されたプロンプトを適応的に統合し、クロスモーダル特徴の整合性を向上させる。
• 長距離の空間的依存関係とグローバルな文脈を捉えるために、トランスフォーマーに基づくエンコーダーを統合し、多様なモダリティにおける特徴表現を向上させる。
• 複数のモダリティ翻訳タスクを同時に最適化するシングルステージのトレーニングプロセスを採用し、トレーニング効率と一般化性能を向上させる。
• 生成画像の構造的・テクスチャ的忠実度を保証するため、サイクル整合性損失と知覚的損失を用いてエンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークは、各ペアごとに別々のモデルを必要とせず、複数の医療画像モダリティペアを効果的に翻訳できるか？
• RQ2 モダリティ固有のクロスモーダル特徴を効率的に符号化・統合することで、翻訳精度を向上させられるか？
• RQ3 トランスフォーマーに基づくアーキテクチャを組み込むことで、マルチタスク医療画像翻訳におけるグローバル特徴の学習がどの程度向上するか？
• RQ4 提案されたプロンプティング機構は、従来のCNNベースやGANベースの手法と比較して、多様な画像モダリティにわたる一般化性能を向上させるか？
• RQ5 シングルステージのトレーニングプロセスは、複数のモダリティ翻訳タスクにおいて最先端の性能を達成できるか？

主な発見

• MedPromptは5つのデータセットと4つのモダリティペアにおいて、定量的指標と視覚的品質の両面で、既存手法を上回る最先端の性能を達成した。
• プロンプト抽出ブロック（PEB）またはプロンプト統合ブロック（PFB）を削除すると、PSNRが約3 dB低下、SSIMが0.7 dB低下、MAEが2 dB低下し、これらがマルチタスク学習において極めて重要な役割を果たしていることが示された。
• トランスフォーマー・ブロックを削除すると、PSNRが2 dB低下、SSIMが0.03 dB低下、MAEが0.5 dB低下し、グローバル特徴学習への貢献が確認された。
• 視覚的比較では、すべてのデータセットとモダリティペアにおいて、形状・詳細・テクスチャの忠実度の観点で、MedPromptが真値に最も近い結果を生成した。
• 全モダリティ翻訳タスクに対して単一のトレーニングプロセスで十分であり、マルチステージやペア別特化型アプローチと比較して、著しくトレーニングの利便性が向上した。
• モデルは強力な一般化能力を示し、微調整なしにMRIからCT、T1からT2、CTからCBCTなど、多様なモダリティ間での翻訳に成功した。