[論文レビュー] DeU-Net: Deformable U-Net for 3D Cardiac MRI Video Segmentation

Shunjie Dong, Jinlong Zhao+6 more|arXiv (Cornell University)|Jul 13, 2020

Medical Image Segmentation Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、3次元心筋MRI動画のセグメンテーションのための可変的U-Netアーキテクチャ、DeU-Netを提案する。このモデルは、時間的特徴融合のための時間的可変的集約モジュール（TDAM）と、グローバルな文脈符号化のための可変的グローバル位置注意（DGPA）ネットワークを統合している。学習可能なサンプリングオフセットを用いた時間的特徴融合と強化された空間的注意により、特に右心室のような困難な構造物における境界誤差（ASSDおよびHD）を低減し、最先端の性能を達成している。

ABSTRACT

Automatic segmentation of cardiac magnetic resonance imaging (MRI) facilitates efficient and accurate volume measurement in clinical applications. However, due to anisotropic resolution and ambiguous border (e.g., right ventricular endocardium), existing methods suffer from the degradation of accuracy and robustness in 3D cardiac MRI video segmentation. In this paper, we propose a novel Deformable U-Net (DeU-Net) to fully exploit spatio-temporal information from 3D cardiac MRI video, including a Temporal Deformable Aggregation Module (TDAM) and a Deformable Global Position Attention (DGPA) network. First, the TDAM takes a cardiac MRI video clip as input with temporal information extracted by an offset prediction network. Then we fuse extracted temporal information via a temporal aggregation deformable convolution to produce fused feature maps. Furthermore, to aggregate meaningful features, we devise the DGPA network by employing deformable attention U-Net, which can encode a wider range of multi-dimensional contextual information into global and local features. Experimental results show that our DeU-Net achieves the state-of-the-art performance on commonly used evaluation metrics, especially for cardiac marginal information (ASSD and HD).

研究の動機と目的

• 右心室を含む境界が曖昧で部分体積効果が顕著な領域における3次元心筋MRI動画の不正確なセグメンテーションに対処すること。
• 複雑な方向性と低コントラストを示す心筋のような微細な心臓構造のセグメンテーションの耐性と正確性を向上させること。
• 心筋MRIフレーム間の空間的・時間的依存関係を、動きと時間的文脈を適応的にモデル化することで完全に活用すること。
• グローバルおよびローカル特徴に多様な文脈的情報を符号化することで特徴表現を向上させ、正確な境界抽出を実現すること。

提案手法

• 時間的可変的集約モジュール（TDAM）は、U-Netベースのオフセット予測ネットワークを用いて、連続するフレーム間での可変的サンプリングオフセットを学習し、適応的な時間的特徴統合を可能にする。
• TDAMは、予測されたオフセットを用いて、$2r+1$フレーム（$r=1$）のクリップからの特徴を可変的畳み込みで統合し、動的な動きパターンを捉える。
• 可変的グローバル位置注意（DGPA）ネットワークは、エンコーダーに可変的畳み込みと可変的アテンションブロックを統合し、空間的位置を動的にサンプリングすることで、長距離の文脈モデリングを強化する。
• DGPAネットワークは、多様な次元の文脈的情報に注目することで、グローバルおよびローカル特徴を統合的に符号化し、特徴の識別性と境界の連続性を向上させる。
• モデルは、入力を短軸平面で処理することで空間相関を保持し、大きなスライス間隔に起因するノイズを低減させつつ、3次元心筋MRI動画クリップ上でエンドツーエンドに訓練される。
• 時間的モデリングと空間的アテンションを組み合わせることで、特に右心室内膜のような微細な構造物のセグメンテーション精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 可変的畳み込みによる時間的モデリングは、3次元心筋MRI動画セグメンテーションにおける特徴表現とセグメンテーション精度を向上させるか？
• RQ2 可変的アテンション機構の統合は、境界が曖昧な微細な心臓構造のモデリングをどのように向上させるか？
• RQ3 提案されたDeU-Netは、困難な心臓構造物に対して、既存のU-Net変種と比較して境界誤差（ASSDおよびHD）をどの程度低減するか？
• RQ4 学習可能なオフセットを用いた空間的・時間的特徴の統合は、固定受容 field 法よりもより頑健で汎用性の高いセグメンテーションを達成するか？
• RQ5 提案手法は、不規則な形状と強度不均一性を示すことで知られる右心室において、標準指標で最先端の性能を達成できるか？

主な発見

• DeU-Netは、全構造（LV、MYO、RV）の平均で、先行手法（ToFlow U-Net や Attention U-Net）を上回る最先端のDiceスコア 0.90 ± 0.01 を達成した。
• 右心室の平均表面距離（ASSD）は 0.19 ± 0.04 mm にまで低減され、U-Net（0.49 ± 0.02 mm）および k U-Net（0.41 ± 0.03 mm）を著しく上回った。
• 右心室のハウスドルフ距離（HD）は 9.02 ± 0.11 mm にまで低減され、U-Net（21.21 ± 0.88 mm）と比較して57%改善され、k U-Net（14.83 ± 0.42 mm）と比較しても57%の低減が達成された。
• 全構造において、HD値が最小の 6.80 ± 0.17 mm を達成し、特に境界が微細な領域の精度が優れていることを示した。
• 視覚的比較では、DeU-NetがGridNet、Attention U-Net、ToFlow U-Netと比較して、特に右心室および心筋層においてより正確で連続性の高い境界を生成していることが確認された。
• アブレーションスタディーでは、TDAMとDGPAを両方備えた完全なDeU-Net（DeU-Net（full））が、変種（DeU-Net(t)、DeU-Net(d)）を上回ることを示し、時間的および空間的モデリングの相補的利点を裏付けた。