[論文レビュー] Joint segmentation and discontinuity-preserving deformable registration: Application to cardiac cine-MR images

Xiang Chen, Yan Xia+2 more|arXiv (Cornell University)|Nov 24, 2022

Medical Image Segmentation Techniques被引用数 4

ひとこと要約

本稿では、心筋マヒ画像のセグメンテーションと不連続性を保持する可変的登録を同時に実行する弱教師付き深層学習フレームワーク、SDDIRを提案する。セグメンテーションブランチでは共注意力モジュールを統合し、登録ブランチでは不連続性に配慮した正則化戦略を採用することで、特に高品質なセグメンテーションマスクが予測された場合に、最先端の手法を上回る優れた登録精度を達成した。

ABSTRACT

Medical image registration is a challenging task involving the estimation of spatial transformations to establish anatomical correspondence between pairs or groups of images. Recently, deep learning-based image registration methods have been widely explored, and demonstrated to enable fast and accurate image registration in a variety of applications. However, most deep learning-based registration methods assume that the deformation fields are smooth and continuous everywhere in the image domain, which is not always true, especially when registering images whose fields of view contain discontinuities at tissue/organ boundaries. In such scenarios, enforcing smooth, globally continuous deformation fields leads to incorrect/implausible registration results. We propose a novel discontinuity-preserving image registration method to tackle this challenge, which ensures globally discontinuous and locally smooth deformation fields, leading to more accurate and realistic registration results. The proposed method leverages the complementary nature of image segmentation and registration and enables joint segmentation and pair-wise registration of images. A co-attention block is proposed in the segmentation component of the network to learn the structural correlations in the input images, while a discontinuity-preserving registration strategy is employed in the registration component of the network to ensure plausibility in the estimated deformation fields at tissue/organ interfaces. We evaluate our method on the task of intra-subject spatio-temporal image registration using large-scale cinematic cardiac magnetic resonance image sequences, and demonstrate that our method achieves significant improvements over the state-of-the-art for medical image registration, and produces high-quality segmentation masks for the regions of interest.

研究の動機と目的

• 既存の深層学習ベースの登録手法が、全身にわたる滑らかな変形場を強制するという制限に対処する。これは、組織／臓器境界で不自然な結果を生じさせることがある。
• 臓器界面で不連続性を保持しつつ、変形場の局所的滑らかさを維持する、統合的セグメンテーションと登録フレームワークを開発する。
• トレーニング中に画像ペアから直接構造的相関を学習することで、事前定義されたセグメンテーションマスクへの依存度を低減する。
• 特に心臓のような複雑な運動を示す領域において、登録の正確性と解剖学的整合性を向上させ、被験者内心電図モードMRI登録を改善する。
• 正確で不連続性に配慮した変形場を生成することで、動的運動およびストレインのロバストでリアルタイムな定量的評価を可能にする。

提案手法

• 入力画像ペア間の構造的相関を学習するため、共注意力ブロックを備えたU-Netベースのセグメンテーションネットワークを用い、セグメンテーションの正確性を向上させる。
• 局所的に滑らかだが、全体としては不連続な変形場を許容するため、登録ブランチに不連続性を考慮した正則化戦略を導入する。
• 画像類似度損失（例：正規化相互相関）とDice損失によるセグメンテーションの監視を用いて、弱教師付きでネットワークを訓練する。
• スキップ接続を備えたU-Netに類似したアーキテクチャを用いて変形場を推定し、組織境界を越えて滑らかさが生じるのを防ぐ境界に配慮した正則化子によって不連続性をモデル化する。
• セグメンテーションと登録ブランチを統合的に最適化し、セグメンテーションマスクを用いて変形推定の領域別ガイドを提供することで、解剖学的整合性を向上させる。
• フレームワークはエンドツーエンドでトレーニング可能であり、推論時に真の変形場や事前セグメンテーションマスクを必要としない。

実験結果

リサーチクエスチョン

• RQ1 統合的セグメンテーションと登録は、心電図モードMRI登録における変形場の正確性と整合性を向上させることができるか？
• RQ2 組織境界で局所的滑らかさを保ちながら全体として不連続性を許容する戦略は、全体的に滑らかな変形場と比較して、登録性能にどのように影響を与えるか？
• RQ3 予測されたセグメンテーションマスクの品質が、統合学習フレームワークにおける最終的な登録正確性にどの程度影響を与えるか？
• RQ4 事前セグメンテーションマスクや真の変形場を必要としない弱教師付き深層学習モデルが、最先端の登録性能を達成できるか？
• RQ5 本手法は、異なるMRI撮影プロトコルやスキャナ間のドメインシフトに対してどの程度ロバストか？

主な発見

• SDDIRは、3つの心電図モードMRIデータセットにおいて、最先端の深層学習および従来の登録手法を、登録正確性と解剖学的整合性の観点で顕著に上回った。
• 固定画像および移動画像のセグメンテーションマスクのDiceスコアがそれぞれ76%（ACDC）以上、70%（MM）以上の場合に、SDDIRは優れた登録性能を達成した。
• SDDIRの登録正確性は、高品質なセグメンテーションマスクが予測された場合にのみ、ベースラインネットワークを上回った。これは、セグメンテーション品質に強く依存していることを示している。
• 統合学習フレームワークにより、固定画像および変形された移動画像の両方の予測を活用することで、より解剖学的に整合性のあるセグメンテーションマスクが得られた。
• UK Biobank（UKBB）データセットでは、一貫性のある画像外観のおかげでSDDIRは改善された性能を示したが、外部データセット（例：ACDC、MM）ではドメインシフトの影響で著しく性能が低下した。
• 結果から、今後の改善はドメイン一般化の強化と、正確な登録に高品質なセグメンテーションへの依存を減らすことに焦点を当てるべきであると示唆された。