[論文レビュー] Bi-parametric prostate MR image synthesis using pathology and sequence-conditioned stable diffusion

Shaheer U. Saeed, Tom Syer+7 more|arXiv (Cornell University)|Mar 3, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、病理学的および画像系列条件付き安定拡散を用いて、テキストまたはペア画像を条件として、リアルなマルチシーケンスMR画像を生成する二パラメータ型前立腺MRI合成手法を提案する。実画像と合成画像を区別する放射線科医の正確性は59.4%にとどまり、高いリアルさを示しており、放射線科医の訓練およびデータ拡張の分野において強く有望である。機械学習モデルの性能は5.8%向上（p=0.004）を達成した。

ABSTRACT

We propose an image synthesis mechanism for multi-sequence prostate MR images conditioned on text, to control lesion presence and sequence, as well as to generate paired bi-parametric images conditioned on images e.g. for generating diffusion-weighted MR from T2-weighted MR for paired data, which are two challenging tasks in pathological image synthesis. Our proposed mechanism utilises and builds upon the recent stable diffusion model by proposing image-based conditioning for paired data generation. We validate our method using 2D image slices from real suspected prostate cancer patients. The realism of the synthesised images is validated by means of a blind expert evaluation for identifying real versus fake images, where a radiologist with 4 years experience reading urological MR only achieves 59.4% accuracy across all tested sequences (where chance is 50%). For the first time, we evaluate the realism of the generated pathology by blind expert identification of the presence of suspected lesions, where we find that the clinician performs similarly for both real and synthesised images, with a 2.9 percentage point difference in lesion identification accuracy between real and synthesised images, demonstrating the potentials in radiological training purposes. Furthermore, we also show that a machine learning model, trained for lesion identification, shows better performance (76.2% vs 70.4%, statistically significant improvement) when trained with real data augmented by synthesised data as opposed to training with only real images, demonstrating usefulness for model training.

研究の動機と目的

• 制御された病変の存在と画像系列タイプを備えた、臨床的に関連性のあるリアルなマルチシーケンス前立腺MR画像を生成する課題に対処すること。
• GANベースの手法が示すモード崩壊や不安定な学習といった限界を克服し、微細または低頻度の前立腺病変を合成すること。
• テキスト（例：病変の有無）やペア画像（例：T2WからDWIへの変換）を条件として、臨床医および機械学習モデルの訓練に向けた柔軟なデータ生成を可能にすること。
• 盲検の専門家評価を通じて生成画像のリアリズムを検証し、機械学習モデルの性能向上にその有用性を評価すること。
• 複雑でマルチモodalな臨床的条件を伴う医療画像合成に拡散モデルを用いる可能性を検討すること。

提案手法

• 安定拡散モデル（SD）を前立腺MRI合成に適応し、画像ベースおよびテキストベースの条件付けを可能にする。
• 画像系列（例：T2W、ADC）および疑わしい病変の存在（例：PIRADS ≥3）の両方を制御できる、新規の条件付けメカニズムを導入する。
• ペアの実データ（例：T2WとDWI）を用いて、片方のモodalからもう片方の画像ペアを生成できるようにモデルを学習する。
• テキストプロンプトを用いて病変状態（例：「病変あり」または「病変なし」）と画像系列タイプを指定し、生成プロセスを誘導する。
• 1枚のNVIDIA Tesla V100 GPUを用い、疑わしい前立腺がん患者の2次元軸断層画像を対象に、約8日間学習する。
• 同じGPU上で、1枚あたり約10秒の推論時間を要し、訓練および拡張タスクにおける実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テキスト（例：病変の有無）および画像系列を条件として、安定拡散モデルがリアルな二パラメータ型前立腺MR画像を生成できるか？
• RQ2 専門的放射線科医による盲検評価において、生成画像のリアリズムはどの程度高いか？
• RQ3 実画像の代わりに合成画像を用いる場合、病変検出における放射線科医の性能は保持されるか？
• RQ4 合成画像は、前立腺病変検出を目的とした機械学習モデルの性能をどの程度向上できるか？
• RQ5 本モデルの主な限界として、解剖的領域の制御および病変の局所化にどのような課題があるか？

主な発見

• 放射線科医は、全画像系列にわたって実画像と合成画像を区別する際、正確性が59.4%にとどまり、これは50%（ランダムレベル）を上回る高いリアリズムを示している。
• 実画像の病変同定正確性は60.4%、合成画像は62.6%であり、差はわずか2.1ポイントにとどまり、強い臨床的リアリズムを示している。
• 実画像に合成画像を追加して拡張したデータで学習した機械学習モデルは、病変検出で76.2%の正確性を達成し、実画像のみで学習した場合の70.4%（p=0.004）と比較して統計的に有意な向上を示した。
• モデルは画像系列にわたり一貫した性能を示した：実画像対合成画像分類の全体正確性は0.594、ADCのAUCは0.688、T2WのAUCは0.594であった。
• 合成画像の品質はcGANベースのベースラインを上回っており、前立腺の破壊やインペイントの欠陥などのアーティファクトが少なく、より優れた品質を示した。
• 現在のモデルは、位置的条件付けが不足しているため、主に前立腺の中心部を生成しており、今後の研究として解剖的局所化制御の向上が求められる。