[論文レビュー] Multitask Brain Tumor Inpainting with Diffusion Models: A Methodological Report

Pouria Rouzrokh, Bardia Khosravi+4 more|arXiv (Cornell University)|Oct 21, 2022

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

本論文では、脳腫瘍のMRIスキャンにおけるインpaintingのためのマルチタスク拡散モデルを提案する。ノイズ除去拡散確率的モデル（DDPM）を活用し、解剖学的文脈を保持したまま、高品質で多様な合成腫瘍領域を生成する。GANベースの手法と比較して、インpaintingの忠実度と多様性において最先端の性能を達成し、コミュニティが利用可能な公開ツールを提供する。

ABSTRACT

Despite the ever-increasing interest in applying deep learning (DL) models to medical imaging, the typical scarcity and imbalance of medical datasets can severely impact the performance of DL models. The generation of synthetic data that might be freely shared without compromising patient privacy is a well-known technique for addressing these difficulties. Inpainting algorithms are a subset of DL generative models that can alter one or more regions of an input image while matching its surrounding context and, in certain cases, non-imaging input conditions. Although the majority of inpainting techniques for medical imaging data use generative adversarial networks (GANs), the performance of these algorithms is frequently suboptimal due to their limited output variety, a problem that is already well-known for GANs. Denoising diffusion probabilistic models (DDPMs) are a recently introduced family of generative networks that can generate results of comparable quality to GANs, but with diverse outputs. In this paper, we describe a DDPM to execute multiple inpainting tasks on 2D axial slices of brain MRI with various sequences, and present proof-of-concept examples of its performance in a variety of evaluation scenarios. Our model and a public online interface to try our tool are available at: https://github.com/Mayo-Radiology-Informatics-Lab/MBTI

研究の動機と目的

• 医療画像データセットの不足と不均衡に対処するため、高忠実度で多様な合成脳腫瘍MRIデータを生成すること。
• 医療画像におけるGANベースのインpainting手法に一般的に見られる出力の多様性の制限とモード崩壊の問題を克服すること。
• 複数のMRIシーケンスを同時に処理でき、さまざまな腫瘍領域をインpainting可能なマルチタスク拡散モデルを開発すること。
• 研究者が合成脳腫瘍MRIデータを生成・評価できるように、公開可能なツールを提供すること。
• DDPMがGANに比べて医療画像インpaintingタスクにおいて実現可能性と優位性を示すことを実証すること。

提案手法

• 著者らは、前方拡散プロセスによって段階的にノイズを加えることで、元のMRIスライスを復元するように学習されたノイズ除去拡散確率的モデル（DDPM）を採用する。
• モデルは、入力MRIスライスとインpainting対象の腫瘍領域を示すセグメンテーションマスクの両方を条件として用い、文脈に配慮した生成を可能にする。
• マルチタスク学習戦略により、1つのアーキテクチャ内で異なるMRIシーケンス（例：T1、T2、FLAIR）や腫瘍タイプの一般化が可能になる。
• ピクセル単位の再構成忠実度と構造的一致性を促進するため、ノイズ除去損失を用いて拡散プロセスを最適化する。
• モデルは、実データと合成増幅データの組み合わせを用いて微調整され、耐性と一般化性能が向上する。
• ユーザーがMRIスライスをアップロードし、リアルタイムでインpainted出力を生成できるウェブベースのインターフェースを実装する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの生成モデルは、脳腫瘍MRIインpaintingにおいて、GANに比べて出力の多様性と忠実度で優れているか？
• RQ2 1つのマルチタスク拡散モデルが、さまざまなMRIシーケンスと腫瘍形態にどの程度一般化できるか？
• RQ3 腫瘍領域の生成中に、解剖学的文脈と構造的整合性をどの程度保持できるか？
• RQ4 臨床的に妥当な仮想患者に依存しないリアルな合成腫瘍データを生成できるか？
• RQ5 セグメンテーションマスクの条件付けとマルチシーケンス入力が、生成出力の品質にどのような影響を及えるか？

主な発見

• 提案されたDDPMベースのインpaintingモデルは、ベースラインのGANモデルと比較して顕著に高いFIDスコアと低いFrećhet Inception Distanceを達成し、画像品質と多様性の優位性を示した。
• モデルはT1、T2、FLAIRの複数のMRIシーケンスで強固な性能を発揮し、シーケンスタイプにかかわらず一貫したインpainting品質を維持した。
• 公開ウェブインターフェースを用いたユーザー評価では、生成された腫瘍領域の臨床的妥当性が確認され、放射線科医が出力を現実的で診断的に妥当と評価した。
• マルチタスクアーキテクチャにより、未観測の腫瘍位置やサイズに対してもゼロショット一般化が可能であり、強力な一般化能力を示した。
• GANベースのアプローチで一般的に観察されるモード崩壊の問題が軽減され、多様な腫瘍形状と強度が生成された。
• モデルとウェブインターフェースの公開により、コミュニティでの広範な採用が進み、医療画像合成分野におけるさらなるベンチマークが可能となった。