[論文レビュー] MyoPS-Net: Myocardial Pathology Segmentation with Flexible Combination of Multi-Sequence CMR Images

Junyi Qiu, Lei Li+5 more|arXiv (Cornell University)|Nov 6, 2022

Medical Imaging Techniques and Applications被引用数 14

ひとこと要約

MyoPS-Net は、bSSFP、LGE、T2、T1マッピング、T2*マッピングを含む、柔軟な組み合わせのマルチシーケンス心筋MRI（CMR）を用いた心筋病変分類のエンドツーエンドディープラーニングフレームワークである。クロスモーダル特徴統合、心筋の一貫性モジュール、包括性損失を採用し、線維化病変および浮腫の分類を向上させ、欠損または不完全なCMRシーケンスが存在する状況でも最先端の性能を達成しており、臨床応用への強力な実用性を示している。

ABSTRACT

Myocardial pathology segmentation (MyoPS) can be a prerequisite for the accurate diagnosis and treatment planning of myocardial infarction. However, achieving this segmentation is challenging, mainly due to the inadequate and indistinct information from an image. In this work, we develop an end-to-end deep neural network, referred to as MyoPS-Net, to flexibly combine five-sequence cardiac magnetic resonance (CMR) images for MyoPS. To extract precise and adequate information, we design an effective yet flexible architecture to extract and fuse cross-modal features. This architecture can tackle different numbers of CMR images and complex combinations of modalities, with output branches targeting specific pathologies. To impose anatomical knowledge on the segmentation results, we first propose a module to regularize myocardium consistency and localize the pathologies, and then introduce an inclusiveness loss to utilize relations between myocardial scars and edema. We evaluated the proposed MyoPS-Net on two datasets, i.e., a private one consisting of 50 paired multi-sequence CMR images and a public one from MICCAI2020 MyoPS Challenge. Experimental results showed that MyoPS-Net could achieve state-of-the-art performance in various scenarios. Note that in practical clinics, the subjects may not have full sequences, such as missing LGE CMR or mapping CMR scans. We therefore conducted extensive experiments to investigate the performance of the proposed method in dealing with such complex combinations of different CMR sequences. Results proved the superiority and generalizability of MyoPS-Net, and more importantly, indicated a practical clinical application.

研究の動機と目的

• 画像品質の悪さ、境界のぼやけ、マルチシーケンスデータ統合の複雑さによって妨げられる、臨床的心筋MRIにおける正確な心筋線維化および浮腫分類の課題に取り組む。
• LGE やマッピングスキャンが欠落している場合を含め、さまざまなCMRシーケンスの組み合わせを柔軟に処理できる統合的なディープラーニングフレームワークを開発する。
• 心筋の一貫性モジュールによる解剖学的事前知識の統合と、包括性損失による病変間の空間的関係モデリングにより、局在化および分類精度を向上させる。
• 完全なマルチシーケンススキャンが常に利用可能でない実臨床環境における、本手法の頑健性と一般化性能を実証する。
• 心筋構造と病変分類を同時に最適化するエンドツーエンド学習を実現し、二段階パイプラインへの依存を低減する。

提案手法

• 5種類のCMRシーケンス（bSSFP、LGE、T2、T1マッピング、T2*マッピング）間の特徴を適応的に学習・統合するクロスモーダル特徴統合アーキテクチャを提案し、入力の組み合わせが可変な状況をサポートする。
• 解剖学的妥当性を維持し、病変領域の局在化を向上させるために、分類出力を正則化する心筋事前知識および一貫性モジュールを導入する。
• 線維化病変が浮腫領域に含まれることを空間的制約として強制する包括性損失を設計し、事前知識を活用して分類の忠実度を向上させる。
• 線維化および浮腫分類のための共有エンコーダーと出力ブランチを備えたエンドツーエンド学習パラダイムを採用し、病変検出の共同最適化を可能にする。
• マルチシーケンスCMR画像の事前アライメントに MvMM 法を活用するが、現実の臨床データではこのようなアライメントが欠落していることが多いため、将来の研究として統合的登録と分類の統合を提案する。
• bSSFP と LGE のみ、または bSSFP と T2 のみの入力設定を含む柔軟な入力構成をサポートし、4つの異なる臨床シナリオにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 一部のシーケンスが欠落している状況でも、複数のCMRシーケンスを統合することで、ディープラーニングフレームワークが最先端の心筋病変分類性能を達成できるか？
• RQ2 線維化病変が浮腫領域に含まれるという空間的関係をモデル化することで、提案された包括性損失は、分類精度をどの程度向上させるか？
• RQ3 心筋一貫性モジュールは、分類結果の局在化精度と解剖学的妥当性をどの程度向上させるか？
• RQ4 LGE やマッピングシーケンスが欠落しているような不完全なCMRシーケンスを含む多様な臨床シナリオにおいて、MyoPS-Net はどの程度の性能を示すか？
• RQ5 完全なマルチシーケンススキャンが日常的に取得されない現実の臨床現場において、本フレームワークは一般化できるか？

主な発見

• MICCAI2020 MyoPS チャレンジデータセットにおいて、MyoPS-Net は心筋線維化分類で 0.661 ± 0.255、浮腫分類で 0.742 ± 0.124 の平均 Dice スコアを達成し、既存手法を上回った。
• 50例のペアドマルチシーケンスCMRスキャンからなるプライベートデータセットでも、MyoPS-Net は線維化で 0.647 ± 0.258、浮腫で 0.722 ± 0.135 の Dice スコアを達成し、異なるデータセットでも強力な性能を示した。
• bSSFP と LGE のみのシーケンスでの入力でも、線維化で 0.583 ± 0.153、浮腫で 0.628 ± 0.125 の Dice スコアを達成し、スキャンが限られた状況でも実用的であることが示された。
• 包括性損失は、線維化病変が浮腫領域に含まれるという解剖学的関係を保つ上で、分類の一貫性を顕著に向上させた。
• 広範なアブレーションスタディにより、クロスモーダル統合アーキテクチャおよび一貫性モジュールが、特にデータが少ない状況において顕著な性能向上に寄与していることが確認された。
• LGE やマッピングシーケンスが欠落している状況を含む4つの異なる臨床シナリオにおいて、フレームワークは頑健で一般化可能であることが示され、臨床的実用性が強力に裏付けられた。