[論文レビュー] LeFusion: Controllable Pathology Synthesis via Lesion-Focused Diffusion Models

Hantao Zhang, Liu, Yuhe+5 more|arXiv (Cornell University)|Mar 21, 2024

Advanced MRI Techniques and Applications被引用数 4

ひとこと要約

LeFusionは、病変領域に焦点を当てた拡散モデルを導入し、背景の整合性を保持する前方拡散コンテキスト統合により、心筋マヒMRIの病変合成を改善する。合成データ拡張において最先端の性能を達成し、DE-MRIにおける虚血性心筋症および再灌流なし病変のnnUNet分類精度を向上させる。

ABSTRACT

Patient data from real-world clinical practice often suffers from data scarcity and long-tail imbalances, leading to biased outcomes or algorithmic unfairness. This study addresses these challenges by generating lesion-containing image-segmentation pairs from lesion-free images. Previous efforts in medical imaging synthesis have struggled with separating lesion information from background, resulting in low-quality backgrounds and limited control over the synthetic output. Inspired by diffusion-based image inpainting, we propose LeFusion, a lesion-focused diffusion model. By redesigning the diffusion learning objectives to focus on lesion areas, we simplify the learning process and improve control over the output while preserving high-fidelity backgrounds by integrating forward-diffused background contexts into the reverse diffusion process. Additionally, we tackle two major challenges in lesion texture synthesis: 1) multi-peak and 2) multi-class lesions. We introduce two effective strategies: histogram-based texture control and multi-channel decomposition, enabling the controlled generation of high-quality lesions in difficult scenarios. Furthermore, we incorporate lesion mask diffusion, allowing control over lesion size, location, and boundary, thus increasing lesion diversity. Validated on 3D cardiac lesion MRI and lung nodule CT datasets, LeFusion-generated data significantly improves the performance of state-of-the-art segmentation models, including nnUNet and SwinUNETR. Code and model are available at https://github.com/M3DV/LeFusion.

研究の動機と目的

• 臨床的心筋MRIにおける長尾データの不均衡とアルゴリズムバイアスに対処し、多様で現実的な合成病変を生成すること。
• 従来の生成モデルが病変を合成する際、背景の品質を損なうという制限を克服すること。
• 心筋梗塞および持続的微小血管障害をDE-MRIで合成するデータ駆動型で制御可能な手法を開発すること。
• 複数の病変タイプを同時にモデリングし、多様な病変マスクを生成することでデータ拡張を改善すること。
• nnUNetのような最先端モデルを用いた下流分類性能の向上を検証すること。

提案手法

• 拡散学習の目的関数を病変領域に限定することで、複雑さを低減し、制御性を向上させること。
• 逆方向拡散プロセスに前方拡散された背景コンテキストを統合することで、正常解剖の構造的整合性を保持すること。
• 複数の病変タイプを同時に処理するためのマルチチャネル分解を用いた共同モデリング戦略を提案すること。
• 病変マスクの生成に拡散ベースの生成モデルを活用し、合成データにおける形状およびテクスチャの多様性を向上させること。
• RePaintをインspiredとしたリパaintingスタイルのフレームワークを採用するが、病変固有の学習とコンテキスト保持を優先するように変更すること。
• Emidec DE-MRI心筋病変データセットを用いて訓練および評価を行い、nnUNetを下流分類ベンチマークとして使用すること。

実験結果

リサーチクエスチョン

• RQ1 病変に焦点を当てた拡散モデルは、背景解剖を保持しつつ、心筋MRIにおける高精細な病変を生成できるか？
• RQ2 病変領域に限定して拡散学習を実施することで、背景・病変を統合的に学習する手法と比較して、制御性および合成品質がどのように向上するか？
• RQ3 心筋梗塞（MI）および持続的微小血管障害（PMO）などの複数病変タイプを共同モデリングすることで、データの多様性および下流分類性能がどの程度向上するか？
• RQ4 学習された拡散モデルによる病変マスク生成は、手作業によるマスク生成と比較して、より多様で現実的な形状を実現できるか？
• RQ5 LeFusionが生成する合成データは、nnUNetのような最先端分類ネットワークの性能を実際に向上させることができるか？

主な発見

• LeFusion-JはPMO病変クラスで最高のDiceスコア（88.7）を達成し、LeFusion-S（85.2）およびRePaint（83.1）を上回り、優れた共同病変モデリングを示した。
• 33×5の合成正常ケース（N”）を用いることで、MIのDiceスコアは92.1に上昇し、データスケールの拡大に伴う一貫した性能向上を示した。
• LeFusion-Jは、ベースライン手法と比較して最高の平均PSNR（28.4）およびSSIM（0.91）を達成し、実病変との画像品質および構造的類似性の優位性を示した。
• 拡散生成マスクは、実マスクに視覚的に近く、手作業マスクと比較して形状の多様性が顕著に高かった。
• Cond-DiffusionおよびRePaint手法は背景構造を損なうことがあり、特にPMO病変ではDiceスコアが低かった。
• LeFusionのマスク生成を用いた合成データ拡張は、分類性能を顕著に向上させ、データ拡張としての有効性を実証した。