[論文レビュー] Towards Realistic Ultrasound Fetal Brain Imaging Synthesis

Michelle Iskandar, Harvey Mannering+5 more|arXiv (Cornell University)|Apr 8, 2023

Fetal and Pediatric Neurological Disorders被引用数 5

ひとこと要約

本稿では、妊娠超音波画像におけるデータ不足の問題に対処するために、拡散・スーパーレゾリューション・GAN（DSR-GAN）とトランスフォーマーに基づくGAN（TB-GAN）を用いて、高解像度（256×256）の胎児頭後小脳透過画像を生成するGANベースの手法を提案する。DSR-GANは、FIDスコアが著しく低く（平均7.04、最高5.09）、TB-GAN（平均36.02、最高28.93）よりも優れた現実性と訓練安定性を示した。

ABSTRACT

Prenatal ultrasound imaging is the first-choice modality to assess fetal health. Medical image datasets for AI and ML methods must be diverse (i.e. diagnoses, diseases, pathologies, scanners, demographics, etc), however there are few public ultrasound fetal imaging datasets due to insufficient amounts of clinical data, patient privacy, rare occurrence of abnormalities in general practice, and limited experts for data collection and validation. To address such data scarcity, we proposed generative adversarial networks (GAN)-based models, diffusion-super-resolution-GAN and transformer-based-GAN, to synthesise images of fetal ultrasound brain planes from one public dataset. We reported that GAN-based methods can generate 256x256 pixel size of fetal ultrasound trans-cerebellum brain image plane with stable training losses, resulting in lower FID values for diffusion-super-resolution-GAN (average 7.04 and lower FID 5.09 at epoch 10) than the FID values of transformer-based-GAN (average 36.02 and lower 28.93 at epoch 60). The results of this work illustrate the potential of GAN-based methods to synthesise realistic high-resolution ultrasound images, leading to future work with other fetal brain planes, anatomies, devices and the need of a pool of experts to evaluate synthesised images. Code, data and other resources to reproduce this work are available at \url{https://github.com/budai4medtech/midl2023}.

研究の動機と目的

• データの不足、プライバシー上の懸念、専門家不足のため、公開可能な胎児超音波画像データセットが限られているという深刻な課題に対処する。
• 深層生成モデルを用いたデータ拡張戦略を開発し、AI/MLの学習を向上させるために、リアルな高解像度の胎児脳超音波画像を合成する。
• 小規模な公開データセットから、頭後小脳断面画像を合成する2つのGANアーキテクチャ（拡散・スーパーレゾリューション-GANとトランスフォーマーに基づく-GAN）の性能を評価する。
• 限られた実際のデータしか利用できない状況でも、GANベースの合成が安定した訓練と低いFIDスコアを達成し、リアルな胎児超音波画像を生成できることを示す。
• 今後の合成手法の基盤を築くこと——合成データを用いて、他の胎児脳断面、臓器、画像デバイスの合成を可能にする。

提案手法

• 2段階の生成フレームワーク：まず、微調整されたノイズ除去拡散確率的モデル（DDPM）が128×128ピクセルの画像を生成し、その後、スーパーレゾリューションGAN（SRGAN）で256×256ピクセルにアップサンプリングする。
• 色分布の一致を実画像と合成画像の間に適用し、視覚的リアリズムを向上させる。
• トランスフォーマーに基づくGANでは、Swin変換器ブロックを用いたStyleSwinアーキテクチャを採用し、高周波数の詳細を捉えつつ、メモリ使用量を削減する。
• 判別器の過学習を防ぐために、微分可能なデータ拡張（DiffAug）と適応的擬似拡張（APA）を適用する。
• 最適化にはAdamを用い、2段階の更新ルールを適用する。また、転移学習を実施し、頭後小脳画像の微調整の前に、より大きな頭脳側断面データで事前学習を行う。
• 画像品質は、実画像と生成画像の分布の類似度を測るFréchet Inception Distance（FID）を用いて評価する。

Figure 1: Results from Diffusion-Super-resolution-GAN (DSR-GAN) and transformer-based-GAN (TB-GAN): (a) Training losses for Generator and Discriminator networks, (b) FID scores, and (c) 256x256 pixel size trans-cerebellum images of two randomised batches (B1, B2) of real and synthesised (DSR-GAN and

実験結果

リサーチクエスチョン

• RQ1 小規模な公開データセットから、GANベースの手法が256×256の胎児超音波頭後小脳断面画像をリアルに合成できるか？
• RQ2 拡散・スーパーレゾリューション-GANとトランスフォーマーに基づく-GANは、訓練安定性および画像品質においてどのように比較されるか？
• RQ3 データ拡張と転移学習を組み合わせることで、限られた胎児超音波データで訓練されたGANの性能はどの程度向上するか？
• RQ4 この文脈において、FIDスコアは合成画像のリアリズムを信頼できる指標として使えるか？
• RQ5 このような合成データの潜在的価値は、今後の胎児脳画像におけるAI/MLアプリケーションの支援にどの程度寄与するか？

主な発見

• 拡散・スーパーレゾリューション-GAN（DSR-GAN）は、平均FIDスコアが7.04、エポック10での最高スコアが5.09に達し、高いリアリズムと安定した訓練を示した。
• トランスフォーマーに基づく-GAN（TB-GAN）は、平均36.02、エポック60での最高28.93と著しく高いFIDスコアを示し、画像生成のリアリズムが低いことが判明した。
• DSR-GANはTB-GANに比べて収束が早く、訓練損失の安定性も優れており、最高FIDスコアに到達するまでに60エポックを要したTB-GANとは対照的であった。
• ヒストグラムマッチングの適用により、実画像と合成画像の色の一貫性が向上し、視覚的な妥当性が向上した。
• より大きな頭脳側断面データセットからの転移学習により、TB-GANの小規模な頭後小脳断面データセットに対する微調整性能が向上した。
• 結果から、限られた臨床データしか利用できない状況でも、GANベースの合成がリアルな胎児超音波画像を生成する有効な解決策であることが示された。今後のデータ効率の良いAI開発を支援するものである。