[論文レビュー] 4D Semantic Cardiac Magnetic Resonance Image Synthesis on XCAT Anatomical Model

Samaneh Abbasi-Sureshjani, Sina Amirrajab+4 more|arXiv (Cornell University)|Feb 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 6

ひとこと要約

本稿では、解剖学的に正確なXCAT心臓フォントと、空間的に注意を払うモダリティ固有の画像生成にSPADEを用いた条件付きGANを組み合わせることで、4次元の意味的セマンティック心臓MR画像を合成するハイブリッド生成モデルを提案する。この手法により、学習可能なスタイル変換を伴い、制御可能で現実的かつ解剖学的に妥当なCMR画像が得られ、教師あり医療画像処理タスク向けにスケーラブルな仮想集団が構築可能である。

ABSTRACT

We propose a hybrid controllable image generation method to synthesize anatomically meaningful 3D+t labeled Cardiac Magnetic Resonance (CMR) images. Our hybrid method takes the mechanistic 4D eXtended CArdiac Torso (XCAT) heart model as the anatomical ground truth and synthesizes CMR images via a data-driven Generative Adversarial Network (GAN). We employ the state-of-the-art SPatially Adaptive De-normalization (SPADE) technique for conditional image synthesis to preserve the semantic spatial information of ground truth anatomy. Using the parameterized motion model of the XCAT heart, we generate labels for 25 time frames of the heart for one cardiac cycle at 18 locations for the short axis view. Subsequently, realistic images are generated from these labels, with modality-specific features that are learned from real CMR image data. We demonstrate that style transfer from another cardiac image can be accomplished by using a style encoder network. Due to the flexibility of XCAT in creating new heart models, this approach can result in a realistic virtual population to address different challenges the medical image analysis research community is facing such as expensive data collection. Our proposed method has a great potential to synthesize 4D controllable CMR images with annotations and adaptable styles to be used in various supervised multi-site, multi-vendor applications in medical image analysis.

研究の動機と目的

• 医療画像における教師ありディープラーニングのための、アノテーション付きで現実的である4次元心臓MRデータの不足を解消すること。
• 解剖学的に正確で、時間的に一貫性があり、モダリティ固有のCMR画像を、意味的セグメンテーションラベルとともに生成すること。
• 実際のCMR画像から、合成されたXCATベースの解剖学的モデルへのスタイル変換を可能にし、リアルさを向上させること。
• マルチサイト・マルチベンダーアプリケーション向けに柔軟な仮想心臓MRデータ集団を構築すること。
• データ効率を向上させ、心臓画像解析における高価な実データ収集への依存を低減すること。

提案手法

• 本手法は、25フレームの時間的スパンと18のショートアキシス位置を持つ、4次元XCAT心臓モデルを、解剖学的テンプレートとして用いる。
• XCATモデルから意味的セグメンテーションラベルを生成し、画像生成のための条件入力としてSPADE-GANに供給する。
• SPADE正規化を用いた条件付きGANは、画像生成中に解剖学的構造間の空間的関係を保持する。
• 実CMR画像からのモダリティ固有の外観（例：T1加重対比）を合成出力に転送するため、スタイルエンコーダーネットワークを統合する。
• インスタンス正規化層を備えた変更版VAEにより、背景構造の制御が可能となり、スライス間の一貫性が向上する。
• 本モデルは実CMRデータで訓練され、XCATの生理的運動と解剖学的構造を保持しつつ、モダリティ固有の特徴を学習する。

実験結果

リサーチクエスチョン

• RQ1 物理ベースのフォントとデータ駆動型のGANを組み合わせたハイブリッド手法が、現実的で4次元的かつ意味的ラベル付きの心臓MR画像を生成できるか？
• RQ2 SPADEベースの条件付きGANは、合成CMR画像において解剖学的構造と空間的関係をどの程度保持できるか？
• RQ3 実CMR画像からのスタイル変換が、合成されたXCATベースの解剖学的モデルに効果的に適用可能か？
• RQ4 4次元ボリュームにおける時間的およびスライス位置ごとの生成画像は、どの程度制御可能で一貫性があるか？
• RQ5 合成データがマルチサイト・マルチベンダーの心臓セグメンテーションタスクでの性能向上に有効に利用できるか？

主な発見

• 提案手法は、XCATを解剖学的基盤として用いることで、4次元的で意味的ラベル付きかつ解剖学的に現実的な心臓MR画像を効果的に合成した。
• SPADE-GANは、25の心動態フェーズおよび18のショートアキシススライスすべてにおいて、空間的構造とクラス境界を保持し、時間的および空間的一致性を確保した。
• スタイルエンコーダーの統合により、実CMR画像からのグローバルおよびローカルな外観特徴が合成出力に効果的に転送された。
• スタイルエンコーダーにおけるインスタンス正規化層を削除すると、背景領域の意味的詳細が損なわれることから、アーキテクチャ設計の重要性が示された。
• 本手法により、制御可能な解剖学的および画像対比特徴を備えた多様な仮想心臓MRデータ集団の生成が可能となった。
• 予備的な結果から、合成データが心臓セグメンテーションにおけるデータ拡張に有効に利用可能であり、実データへの依存を低減できる可能性が示唆された。