[論文レビュー] Segmentation of Multimodal Myocardial Images Using Shape-Transfer GAN

Xumin Tao, Hongrong Wei+2 more|arXiv (Cornell University)|Aug 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 4

ひとこと要約

本稿では、バランス化されたSSFP（bSSFP）シス画像から解剖的心筋形態を保持したまま、リアルな遅延ガドリニウム強化（LGE）心臓MRI画像を生成するShape-Transfer GANを提案する。この手法により、LGE固有のセグメンテーションラベルを必要とせず、エンドツーエンドのLGE画像セグメンテーションが可能となる。40例のテストセットにおいて、左心室のDiceスコアは0.847、右心室は0.776、心筋は0.686を達成し、トレーニング時にLGEの真値を一切使用していないにもかかわらず優れた性能を示している。

ABSTRACT

Myocardium segmentation of late gadolinium enhancement (LGE) Cardiac MR images is important for evaluation of infarction regions in clinical practice. The pathological myocardium in LGE images presents distinctive brightness and textures compared with the healthy tissues, making it much more challenging to be segment. Instead, the balanced-Steady State Free Precession (bSSFP) cine images show clearly boundaries and can be easily segmented. Given this fact, we propose a novel shape-transfer GAN for LGE images, which can 1) learn to generate realistic LGE images from bSSFP with the anatomical shape preserved, and 2) learn to segment the myocardium of LGE images from these generated images. It's worth to note that no segmentation label of the LGE images is used during this procedure. We test our model on dataset from the Multi-sequence Cardiac MR Segmentation Challenge. The results show that the proposed Shape-Transfer GAN can achieve accurate myocardium masks of LGE images.

研究の動機と目的

• 深層学習セグメンテーションモデルのトレーニングに必要な、ラベル付きLGE心臓MRIデータの不足という課題に対処すること。
• 不均一な強度と明確でない境界による、LGE画像における心筋セグメンテーションの困難さを改善すること。
• bSSFP画像に明確に定義された構造を活用し、解剖学的形状を保持したままリアルなLGE画像を合成する手法を開発すること。
• bSSFP画像から得られる合成画像-ラベルペアを用いてセグメンテーションネットワークをトレーニングし、手動によるLGEラベルの必要性を回避すること。
• MS-CMRSeg 2019チャレンジのスケールの大きなデータセットを用いて、本手法の実LGE画像への一般化性能を検証すること。

提案手法

• bSSFPからLGE画像ドメインへのマッピングを学習するための条件付きGANフレームワークを設計し、解剖学的形状を保持するとともに、強度特性を転送する。
• 生成されたLGE画像が元のbSSFP入力に再構成可能であることを保証するため、サイクル整合性損失を導入し、画像の忠実度を向上させる。
• 生成されたLGE画像が入力bSSFP画像の心筋輪郭を保持することを強制するために、ジェネレータ内にセグメンテーションネットワークを埋め込むことで、新しい形状保持損失を導入する。
• トレーニング中はbSSFPのセグメンテーションラベルのみを用いて、合成画像-ラベルペアから得られるセグメンテーションネットワークをエンドツーエンドで訓練する。
• 生成器は敵対的損失により、リアルなLGEスタイルの画像を生成するように訓練され、ディスクライマーは本物のLGE画像と生成画像を区別する。
• 最終的なセグメンテーションモデルは、実LGE画像に直接適用可能であり、実LGEデータへのファインチューニングを一切行わず、形状を保った生成プロセスの利点を活用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、bSSFPからLGE画像への解剖学的形状の転送に加え、リアルな強度パターンの生成が可能か？
• RQ2 形状保持画像合成は、LGEセグメンテーションラベルをトレーニングに使用しない状況でも、LGE画像におけるセグメンテーション性能を向上させるか？
• RQ3 LGEセグメンテーションラベルが存在しない状況において、提案手法のShape-Transfer GANはU-Net や標準GANといったベースライン手法と比較して優れているか？
• RQ4 本モデルは、実LGEデータへのファインチューニングなしに、大規模なテストセットからの未観測LGE画像に一般化可能か？
• RQ5 形状保持は、合成画像-ラベルペアの品質および下流のセグメンテーション精度にどのような影響を及ぼすか？

主な発見

• Shape-Transfer GANは、40例の患者LGE画像において、左心室セグメンテーションでDiceスコア0.847 ± 0.054を達成し、U-Net（0.249 ± 0.197）およびNo-Shape GAN（0.589 ± 0.190）を顕著に上回った。
• 右心室セグメンテーションでは、Diceスコア0.776 ± 0.048を達成し、複雑でコントラストが低い領域でも頑健であることが示された。
• 心筋セグメンテーションでは、Diceスコア0.686 ± 0.078を達成し、不均一な強度を持つ病変組織を効果的に捉えることができた。
• GMMベースの手法に比べ、シンプルさとスケーラビリティに優れており、最先端の手法（例：SRSCN）と同等の性能を達成した。
• アブレーションスタディにより、形状保持が極めて重要であることが確認され、その除去によりすべての構造でDiceスコアが20%以上低下した。
• 可視化結果から、本モデルが真値ラベルに欠落していたRV領域を効果的に回復しており、解剖学的整合性の向上が示された。