[논문 리뷰] Joint segmentation and discontinuity-preserving deformable registration: Application to cardiac cine-MR images

Xiang Chen, Yan Xia외 2명|arXiv (Cornell University)|2022. 11. 24.

Medical Image Segmentation Techniques인용 수 4

한 줄 요약

이 논문은 심장 MR 영상의 분할과 비연속성 유지 가능한 탄성 변형 등록을 동시에 수행하는 약한 지도 학습 기반 딥 러닝 프레임워크인 SDDIR을 제안한다. 분할 분야에 공액 주의 모듈을 통합하고, 등록 분야에 비연속성 인식 정규화 전략을 도입함으로써, 특히 고정밀도 분할 마스크를 예측할 경우, 기존 최고 수준의 방법들보다 뛰어난 등록 정확도를 달성한다.

ABSTRACT

Medical image registration is a challenging task involving the estimation of spatial transformations to establish anatomical correspondence between pairs or groups of images. Recently, deep learning-based image registration methods have been widely explored, and demonstrated to enable fast and accurate image registration in a variety of applications. However, most deep learning-based registration methods assume that the deformation fields are smooth and continuous everywhere in the image domain, which is not always true, especially when registering images whose fields of view contain discontinuities at tissue/organ boundaries. In such scenarios, enforcing smooth, globally continuous deformation fields leads to incorrect/implausible registration results. We propose a novel discontinuity-preserving image registration method to tackle this challenge, which ensures globally discontinuous and locally smooth deformation fields, leading to more accurate and realistic registration results. The proposed method leverages the complementary nature of image segmentation and registration and enables joint segmentation and pair-wise registration of images. A co-attention block is proposed in the segmentation component of the network to learn the structural correlations in the input images, while a discontinuity-preserving registration strategy is employed in the registration component of the network to ensure plausibility in the estimated deformation fields at tissue/organ interfaces. We evaluate our method on the task of intra-subject spatio-temporal image registration using large-scale cinematic cardiac magnetic resonance image sequences, and demonstrate that our method achieves significant improvements over the state-of-the-art for medical image registration, and produces high-quality segmentation masks for the regions of interest.

연구 동기 및 목표

• 기존 딥 러닝 기반의 등록 방법들이 전역적으로 부드러운 변형 필드를 강제로 적용함으로써 조직/기관 경계에서 비현실적인 결과를 낼 수 있는 한계를 해결하기 위해.
• 기관 경계에서 비연속성을 유지하면서도 변형 필드의 局부적 부드러움을 유지하는 동시 분할 및 등록 프레임워크를 개발하기 위해.
• 학습 중에 이미지 쌍으로부터 직접 구조적 상관관계를 학습함으로써 사전에 존재하는 분할 마스크에 대한 의존도를 줄이기 위해.
• 특히 심장과 같은 복잡한 운동을 보이는 영역에서, 등록 정확도와 해부학적 타당성을 향상시키기 위해 내부 환자 심장 순환-MRI의 등록을 개선하기 위해.
• 정확하고 비연속성 인식 가능한 변형 필드를 생성함으로써, 치료적 목적으로 신뢰할 수 있는 심장 운동 및 변형률의 실시간 정량화를 가능하게 하기 위해.

제안 방법

• 입력 이미지 쌍 간의 구조적 상관관계를 향상시키기 위해, 공액 주의 블록을 갖춘 U-Net 기반의 분할 네트워크를 사용한다.
• 국소적으로는 부드럽지만 전역적으로는 비연속적인 변형 필드를 허용하기 위해, 등록 분야에 비연속성 유지 정규화 전략을 도입한다.
• 이미지 유사도 손실(예: 정규화된 상관관계)과 Dice 손실을 통한 분할 지도 학습을 사용하여, 약한 지도 학습 방식으로 네트워크를 훈련시킨다.
• 스킵 연결을 갖춘 U-Net 유사 아키텍처를 사용하여 변형 필드를 추정하고, 조직 경계를 고려하는 경계 인식 정규화자를 통해 경계를 넘어선 부드러움을 방지한다.
• 분할 및 등록 분야를 함께 최적화하며, 분할 마스크를 활용해 지역별 변형 추정을 유도함으로써 해부학적 일관성을 향상시킨다.
• 엔드 투 엔드 훈련이 가능한 프레임워크이며, 추론 시 진짜 변형 필드나 사전 분할 마스크가 필요하지 않다.

실험 결과

연구 질문

• RQ1 동시 분할 및 등록이 심장 순환-MRI의 등록에서 변형 필드의 정확도와 타당성에 어떻게 기여하는가?
• RQ2 조직 경계에서 국소적 부드러움을 유지하면서도 전역적으로 비연속성을 허용하는 전략이, 전역적으로 부드러운 변형 필드와 비교해 등록 성능에 어떤 영향을 미치는가?
• RQ3 예측된 분할 마스크의 품질이 동시 학습 프레임워크에서 최종 등록 정확도에 얼마나 큰 영향을 미치는가?
• RQ4 사전 분할 마스크나 진짜 변형 필드가 필요 없이도, 약한 지도 학습 기반 딥 러닝 모델이 최고 수준의 등록 성능을 달성할 수 있는가?
• RQ5 다른 MRI 촬영 프rotocol 및 스캐너 간의 도메인 이동에 대해 제안된 방법은 얼마나 강인한가?

주요 결과

• SDDIR는 세 개의 심장 순환-MRI 데이터셋에서 기존 최고 수준의 딥 러닝 및 전통적 등록 방법들을 상회하는 정확도와 해부학적 타당성으로 성과를 내었다.
• 고정 및 이동 이미지의 분할 마스크가 각각 ACDC에서 76% 이상, MM에서 70% 이상의 Dice 스코어를 확보할 경우, SDDIR는 뛰어난 등록 성능을 달성한다.
• SDDIR의 등록 정확도는 높은 품질의 분할 마스크가 예측된 경우에만 기준 네트워크를 능가하며, 이는 분할 품질에 강한 의존성을 보임을 시사한다.
• 동시 학습 프레임워크는 고정 및 변형된 이동 이미지 예측을 모두 활용함으로써 더 해부학적으로 타당한 분할 마스크를 생성한다.
• SDDIR는 UK Biobank (UKBB) 데이터셋에서 일관된 이미지 외관으로 인해 성능 향상을 보였지만, 외부 데이터셋(예: ACDC, MM)에서는 도메인 이동으로 인해 성능이 크게 떨어졌다.
• 결과적으로未래 향상 방향은 도메인 일반화에 초점을 맞추고, 정확한 등록을 위해 고품질 분할 마스크에 대한 의존도를 줄이는 데 있다.