[논문 리뷰] DeU-Net: Deformable U-Net for 3D Cardiac MRI Video Segmentation

Shunjie Dong, Jinlong Zhao외 6명|arXiv (Cornell University)|2020. 07. 13.

Medical Image Segmentation Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 3D 심장 MRI 영상 분할을 위한 탄성 U-Net 아키텍처인 DeU-Net을 제안한다. 이는 시간적 모델링을 위해 시간적 탄성 집합 모듈(TDAM)을 통합하고, 탄성 전역 위치 주의망(DGPA)을 통해 전역적 맥락을 인코딩한다. 학습 가능한 샘플링 오프셋을 활용한 시간적 특징 융합과 향상된 공간 주의를 통해, 특히 오른쪽 심실과 같은 어려운 구조에서 경계 오차(ASDD 및 HD)를 줄이며 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Automatic segmentation of cardiac magnetic resonance imaging (MRI) facilitates efficient and accurate volume measurement in clinical applications. However, due to anisotropic resolution and ambiguous border (e.g., right ventricular endocardium), existing methods suffer from the degradation of accuracy and robustness in 3D cardiac MRI video segmentation. In this paper, we propose a novel Deformable U-Net (DeU-Net) to fully exploit spatio-temporal information from 3D cardiac MRI video, including a Temporal Deformable Aggregation Module (TDAM) and a Deformable Global Position Attention (DGPA) network. First, the TDAM takes a cardiac MRI video clip as input with temporal information extracted by an offset prediction network. Then we fuse extracted temporal information via a temporal aggregation deformable convolution to produce fused feature maps. Furthermore, to aggregate meaningful features, we devise the DGPA network by employing deformable attention U-Net, which can encode a wider range of multi-dimensional contextual information into global and local features. Experimental results show that our DeU-Net achieves the state-of-the-art performance on commonly used evaluation metrics, especially for cardiac marginal information (ASSD and HD).

연구 동기 및 목표

• 모호한 경계와 부분 볼륨 효과로 인해 3D 심장 MRI 영상에서 정확도가 떨어지는 문제, 특히 오른쪽 심실에서의 분할 정확도 향상을 위해.
• 복잡한 기울기와 낮은 대trast를 가지는 심장 근육과 같은 미세한 심장 구조의 분할에 대한 강건성과 정확도 향상.
• 운동과 시간적 맥락을 적응적으로 모델링하여 3D 심장 MRI 프레임 간의 공간-시간 의존성을 극대화.
• 전역 및 국소 특징에 다차원 맥락 정보를 인코딩하여 정밀한 경계 정의를 위한 특징 표현 향상.

제안 방법

• 시간적 탄성 집합 모듈(TDAM)은 U-Net 기반의 오프셋 예측 네트워크를 사용하여 연속 프레임 간의 탄성 샘플링 오프셋을 학습하여 적응적인 시간적 특징 융합을 가능하게 한다.
• TDAM은 예측된 오프셋을 사용해 $2r+1$개 프레임(여기서 $r=1$)의 특징을 시간적 집합 탄성 컨볼루션으로 융합하여 동적 운동 패턴을 포착한다.
• 탄성 전역 위치 주의망(DGPA) 네트워크는 인코더에서 탄성 컨볼루션과 탄성 주의 블록을 통합하여 공간적 위치를 동적으로 샘플링함으로써 장거리 맥락 모델링을 향상시킨다.
• DGPA 네트워크는 다차원 맥락 정보에 주의를 기울이며 전역 및 국소 특징을 동시에 인코딩하여 특징의 분류 능력과 경계 연속성을 향상시킨다.
• 모델은 입력을 단면 평면에서 처리하여 공간 상관관계를 유지하고 큰 슬라이스 간격으로 인한 노이즈를 줄이기 위해 3D 심장 MRI 영상 클립에서 엔드-투-엔드로 훈련된다.
• 시간 모델링과 공간 주의를 결합하여 특히 오른쪽 심실 내막과 같은 미세한 구조의 분할 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 탄성 컨볼루션을 통한 시간 모델링이 3D 심장 MRI 영상 분할에서 특징 표현과 분할 정확도를 향상시키는가?
• RQ2 탄성 주의 메커니즘의 통합이 경계가 모호한 미세한 심장 구조의 모델링에 어떻게 기여하는가?
• RQ3 제안된 DeU-Net이 기존 U-Net 변종에 비해 어려운 심장 구조에서 경계 오차(ASDD 및 HD)를 얼마나 줄이는가?
• RQ4 학습 가능한 오프셋을 통한 공간-시간 특징 융합이 고정된 수신장 방법에 비해 더 강건하고 일반화 능력이 뛰어난가?
• RQ5 제안된 방법은 오른쪽 심장이 비정상적인 형태와 강도 비균일성으로 유명한 점을 감안할 때, 표준 평가 지표에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DeU-Net은 LV, MYO, RV 전 구조에서 평균적으로 최신 기술 수준의 Dice 스코어 0.90 ± 0.01을 달성하여 ToFlow U-Net 및 Attention U-Net과 같은 이전 방법들을 능가한다.
• 오른쪽 심실의 평균 표면 거리(ASDD)는 0.19 ± 0.04 mm로 감소하여 U-Net(0.49 ± 0.02 mm)과 k U-Net(0.41 ± 0.03 mm)에 비해 뚜렷한 향상을 보였다.
• 오른쪽 심실의 하우스도르프 거리(HD)는 9.02 ± 0.11 mm로 감소하여 U-Net(21.21 ± 0.88 mm) 대비 57% 향상되었고, k U-Net(14.83 ± 0.42 mm) 대비도 57% 감소하였다.
• 전 구조에서 가장 낮은 HD 값인 6.80 ± 0.17 mm를 기록하여 특히 미세한 영역에서 뛰어난 경계 정밀도를 입증하였다.
• 시각적 비교 결과 DeU-Net은 오른쪽 심실과 심장 근육 층에서 GridNet, Attention U-Net, ToFlow U-Net보다 더 정확하고 연속적인 경계를 생성함을 확인하였다.
• 제거 실험 결과 전체 DeU-Net(양측 TDAM 및 DGPA 포함)이 변종(DeU-Net(t), DeU-Net(d))보다 우수함을 입증하여 시간적 및 공간적 모델링의 상호보완적 이점을 입증하였다.