[論文レビュー] Aligning Multi-Sequence CMR Towards Fully Automated Myocardial Pathology Segmentation

Wangbin Ding, Lei Li+6 more|arXiv (Cornell University)|Feb 7, 2023

Medical Imaging Techniques and ApplicationsMedicine被引用数 3

ひとこと要約

本稿では、呼吸運動による歪みを生じる臨床的非整合なマルチシーケンス心臓MRI（MS-CMR）において、画像のアライメントを事前に行わず、同時に画像アライメントと特徴量統合を実行することで、心筋病変のセグメンテーションを完全に自動化するU-MyoPSを提案する。新規のマルチシーケンス統合モジュールと構造伝播ヘッドを導入し、病変と心筋の空間的関係を活用することで、セグメンテーション精度を向上させ、プライベートおよびパブリックなMS-CMRデータセットにおいて、事前アライメントを要せず、最先端の性能を達成した。

ABSTRACT

Myocardial pathology segmentation (MyoPS) is critical for the risk stratification and treatment planning of myocardial infarction (MI). Multi-sequence cardiac magnetic resonance (MS-CMR) images can provide valuable information. For instance, balanced steady-state free precession cine sequences present clear anatomical boundaries, while late gadolinium enhancement and T2-weighted CMR sequences visualize myocardial scar and edema of MI, respectively. Existing methods usually fuse anatomical and pathological information from different CMR sequences for MyoPS, but assume that these images have been spatially aligned. However, MS-CMR images are usually unaligned due to the respiratory motions in clinical practices, which poses additional challenges for MyoPS. This work presents an automatic MyoPS framework for unaligned MS-CMR images. Specifically, we design a combined computing model for simultaneous image registration and information fusion, which aggregates multi-sequence features into a common space to extract anatomical structures (i.e., myocardium). Consequently, we can highlight the informative regions in the common space via the extracted myocardium to improve MyoPS performance, considering the spatial relationship between myocardial pathologies and myocardium. Experiments on a private MS-CMR dataset and a public dataset from the MYOPS2020 challenge show that our framework could achieve promising performance for fully automatic MyoPS.

研究の動機と目的

• 呼吸運動に起因する臨床的非整合なマルチシーケンス心臓MRI（MS-CMR）における心筋病変セグメンテーションの課題に対処すること。
• 非整合なMS-CMRスキャンに対して、画像アライメントと特徴量統合を同時に実行する統合フレームワークの開発。
• 心筋病変と心筋構造の空間的関係を活用することで、セグメンテーション性能の向上。
• 事前アライメントを要せず、完全に自動的かつ時間効率的かつ臨床応用可能な病変セグメンテーションの実現。

提案手法

• エンドツーエンドで最適化する統合計算モデルを提案し、マルチシーケンス画像のアライメントと特徴量統合を同時に最適化。
• 異なるCMRシーケンスからの空間的に非整合な特徴マップを共通の解剖学的空間に統合するためのマルチシーケンス統合（MSF）モジュールを導入。
• 抽出された心筋輪郭を伝播させることで、線維化および浮腫領域のセグメンテーションを向上させる構造伝播ヘッド（SPH）を採用。
• 空間的詳細を保持し、セグメンテーション精度を向上させるために、スキップ接続を備えたU-Netベースのアーキテクチャを用いる。
• アライメント、心筋セグメンテーション、病変セグメンテーションの目的関数を統合したマルチタスク損失を用いてモデルを学習。
• 2段階のトレーニング戦略を適用：まずアライメントと心筋抽出を事前学習し、その後病変セグメンテーションでファインチューニング。

Figure 1: Visualization of unaligned and aligned multi-sequence cardiac magnetic resonance (MS-CMR) images. (a) Short-axis views of unaligned MS-CMR images, i.e., bSSFP (top), LGE (middle) and T2 (bottom), with contours of the left ventricle (LV) epicardium, scar and edema regions. (b) Warped bSSFP

実験結果

リサーチクエスチョン

• RQ1 統合的なディープラーニングフレームワークは、非整合なマルチシーケンス心臓MRIに対して、同時にアライメントとセグメンテーションを効果的に行えるか？
• RQ2 心筋構造情報の統合は、心筋病変セグメンテーションの正確性をどのように向上させるか？
• RQ3 bSSFP、LGE、T2強調CMRシーケンス間の空間的非整合が、病変セグメンテーション性能に与える影響は何か？
• RQ4 アライメント、心筋抽出、病変セグメンテーションの統合最適化戦略は、個別に学習する手法を上回る性能を発揮するか？
• RQ5 提案手法は、異なる画像取得プロトコルやデータセットに対し、どのように一般化するか？

主な発見

• U-MyoPSは、プライベートな非整合MS-CMRデータセットでDiceスコア73.1を達成し、事前アライメントを要せず強力な性能を示した。
• MYOPS2020パブリックデータセットでは、Diceスコア68.6を達成し、多数の既存手法を上回り、コンテストで上位にランクインした。
• 複数シーケンスの特徴量を統合的にアライメント・統合することで、空間的非整合の悪影響を低減し、セグメンテーションの一貫性を向上させた。
• 構造伝播ヘッドにより、心筋と病変の空間的関係を活用することで、病変セグメンテーションが顕著に向上した。
• 1件あたりの推論時間はわずか10秒であり、臨床現場への導入に適した時間効率性を確認した。
• 強力な性能を発揮したが、顕著に異なる画像取得プロトコルを用いたデータに対しては性能低下が見られたため、一般化性能の向上が今後の課題である。

Figure 2: Pipeline of the myocardial pathology segmentation (MyoPS) framework, referred to as U-MyoPS, for unaligned multi-sequence cardiac magnetic resonance (MS-CMR) images. The network architecture of the U-MyoPS includes three encoders ( $E_{{bSSFP}}$ , $E_{LGE}$ and $E_{T2}$ ) and two registrat