[論文レビュー] Visually-Guided Controllable Medical Image Generation via Fine-Grained Semantic Disentanglement

Xin Huang, Junjie Liang+5 more|arXiv (Cornell University)|Mar 11, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

視覚ガイド付きのテキスト分離拡散フレームワークを導入し、医療promptの解剖学的構造とイメージスタイルを跨る視覚的事前知識を用いて分離を行い、より高忠実度の微細制御画像生成と下流の分類利得を実現する。

ABSTRACT

Medical image synthesis is crucial for alleviating data scarcity and privacy constraints. However, fine-tuning general text-to-image (T2I) models remains challenging, mainly due to the significant modality gap between complex visual details and abstract clinical text. In addition, semantic entanglement persists, where coarse-grained text embeddings blur the boundary between anatomical structures and imaging styles, thus weakening controllability during generation. To address this, we propose a Visually-Guided Text Disentanglement framework. We introduce a cross-modal latent alignment mechanism that leverages visual priors to explicitly disentangle unstructured text into independent semantic representations. Subsequently, a Hybrid Feature Fusion Module (HFFM) injects these features into a Diffusion Transformer (DiT) through separated channels, enabling fine-grained structural control. Experimental results in three datasets demonstrate that our method outperforms existing approaches in terms of generation quality and significantly improves performance on downstream classification tasks. The source code is available at https://github.com/hx111/VG-MedGen.

研究の動機と目的

• 医療画像におけるデータ不足とプライバシー問題に対処するため、細粒度のセマンティックプロンプトに条件付けた高品質な合成画像を生成する。
• 医療テキストプロンプトにおける解剖学的構造とイメージングスタイル間の意味的エンタングルメントを克服する。
• 生成医療画像を正確・細粒度に制御しつつ、忠実度と下流タスクへの有用性を維持する。

提案手法

• 事前学習済みの視覚エンコーダを用いた跨モーダル潜在整列を活用し、テキストの分離を解剖学とスタイルの埋め込みに監督する。
• Explicit DiceとKLロスを用いて解離した視覚特徴を得るため、解剖学を表すU-Netとスタイルを表す変分エンコーダのデュアルブランチ視覚エンコーダを実装する。
• ClinicalBERT埋め込みを解剖学とスタイル潜在空間へマップするための二つのテキストマッピングネットワーク（E_a^TとE_s^T）を導入し、視覚事前知識と整合させる。
• 交差注意の別チャンネルを介して解離した解剖学とスタイル特徴をDiffusion Transformerへ注入するため、型埋め込みを含むHybrid Feature Fusion Module（HFFM）を導入する。
• 生成時にのみアテンション投影を微調整するLow-Rank Adaptation（LoRA）を用い、パラメータ効率を実現する。
• 生成画像の色忠実性を強制するオンラインカラー分布ロスを含む。

実験結果

リサーチクエスチョン

• RQ1 視覚的事前知識は、医療テキストの未構造化データから解剖学的構造とイメージングスタイルを信頼性高く分離できるか。
• RQ2 跨モーダル整列は、既存の医療T2I手法よりも細粒度の制御性と生成忠実度を向上させるか。
• RQ3 分離表現は、合成データを使用した下流の診断・分類性能を向上させるか。

主な発見

Model	HAM10000 FID ↓	HAM10000 HFD ↓	HAM10000 KID ↓	Kvasir-SEG FID ↓	Kvasir-SEG KFD ↓	Kvasir-SEG KID ↓	BUSI FID ↓	BUSI BFD ↓	BUSI KID ↓
SD1.5	100.05	15.45	0.078	119.93	12.34	0.109	159.74	62.15	0.125
SDXL	72.69	8.06	0.058	139.81	9.78	0.154	135.20	55.40	0.098
PixArt-alpha	68.76	10.14	0.055	67.73	5.24	0.048	100.50	51.94	0.060
MedSegFactory	52.15	4.85	0.042	69.80	4.56	0.058	99.50	43.10	0.055
Med-Art	53.54	9.68	0.049	70.95	5.80	0.051	99.16	43.91	0.062
Ours	51.56	3.22	0.036	71.97	3.70	0.063	98.79	42.60	0.050

• 提案された視覚ガイド付き分離フレームワークは、3つの医療データセットを横断して、強力なベースラインよりもFID、KID、およびドメイン特有の指標（HFD/KFD）で低い値を達成する。
• HAM10000では、本手法のFIDは51.56、HFDは3.22で、PixArt-αや他のベースラインを上回る。
• Kvasir-SEGとBUSIでは、HFD/KIDが常に最小となる（例：Kvasir-SEGでHFD 3.70）。
• Oursモデルは0.833Bパラメータで、Med-Artより約84.7%少なく、SD1.5/SDXLファミリよりも22%小さい。推論は速く（画像1枚あたり1.457秒）。
• 本アプローチによる合成データは、HAM10000の下流分類指標を改善（ベースラインおよび一部実データベースラインと比べて最良のF1 0.619、BACC 0.348）した。
• アブレーション研究では、属性キャプショニング品質と分離＋HFFMの組み合わせが、低FID（51.56）を達成するために重要であることが示された（退化したバリアントと比較）。