[논문 리뷰] Cascaded multitask U-Net using topological loss for vessel segmentation and centerline extraction

Pierre Rougé, Nicolas Passat외 1명|arXiv (Cornell University)|2023. 07. 21.

Cerebrovascular and Carotid Artery Diseases인용 수 6

한 줄 요약

이 논문은 3D 혈관 세분화를 위한 기하학적 구조 제약 학습을 가능하게 하기 위해 가중치 학습이 가능한 U-Net 기반 스켈레타이저로 미분 가능한 소프트 스켈레타 알고리즘을 대체한 계단식 다중 작업 U-Net을 제안한다. 이는 clDice 손실을 계산하기 위한 것이다. 이 방법은 특히 혈관 연결성과 중심선 기하학적 구조를 유지함으로써 상당히 향상된 기하학적 정확도를 달성하였으며, 3D TOF MRA 데이터에서 기준 모델들을 능가하였다.

ABSTRACT

Vessel segmentation and centerline extraction are two crucial preliminary tasks for many computer-aided diagnosis tools dealing with vascular diseases. Recently, deep-learning based methods have been widely applied to these tasks. However, classic deep-learning approaches struggle to capture the complex geometry and specific topology of vascular networks, which is of the utmost importance in most applications. To overcome these limitations, the clDice loss, a topological loss that focuses on the vessel centerlines, has been recently proposed. This loss requires computing, with a proposed soft-skeleton algorithm, the skeletons of both the ground truth and the predicted segmentation. However, the soft-skeleton algorithm provides suboptimal results on 3D images, which makes the clDice hardly suitable on 3D images. In this paper, we propose to replace the soft-skeleton algorithm by a U-Net which computes the vascular skeleton directly from the segmentation. We show that our method provides more accurate skeletons than the soft-skeleton algorithm. We then build upon this network a cascaded U-Net trained with the clDice loss to embed topological constraints during the segmentation. The resulting model is able to predict both the vessel segmentation and centerlines with a more accurate topology.

연구 동기 및 목표

• 저해상도이자 노이즈가 많은 인간 혈관 영상 자료에서 3D 혈관 세분화의 기하학적 정확도를 확보하는 도전 과제를 해결한다.
• 3D 환경에서 소프트 스켈레타 알고리즘이 제공하는 비최적의 스켈레타로 인해 효과적인 clDice 손실 계산이 저해되는 한계를 극복한다.
• 다중 작업 U-Net 아키텍처의 일부로 미분 가능한 스켈레타이제이션 네트워크를 학습시켜 세분화 과정에서 혈관 기하학적 구조의 유지성을 향상시킨다.
• 세분화 부피와 중심선을 동시에 예측하는 엔드 투 엔드 학습 모델을 가능하게 하여, clDice 손실을 통해 기하학적 정확도를 향상시킨다.

제안 방법

• 예측 세분화에서 스켈레타이제이션을 학습하기 위해 전용 U-Net을 사용하여, 3D에서 스켈레타 정확도를 향상시키기 위해 미분 가능한 소프트 스켈레타 알고리즘을 대체한다.
• 스켈레타이제이션 U-Net을 사전에 진짜 세분화 데이터에서 독립적으로 학습한 후, 계단식 다중 작업 U-Net 아키텍처에 통합한다.
• 첫 번째 네트워크에서 예측된 스켈레타를 입력으로 사용하여, 세분화 헤드가 clDice 손실을 계산하는 계단식 U-Net 아키텍처를 구성한다.
• clDice와 Dice 손실의 가중 조합을 최적화하여 공동 학습을 수행하며, 하이퍼파rameter λ₁ = 0.25 및 λ₂ = 0.25를 사용하고, 스켈레타이제이션 네트워크의 가중치는 동결한다.
• 중심선 유사도에 중점을 두는 clDice 지표를 주요 손실로 사용하여 학습 중 기하학적 정확도를 강제로 유도한다.
• 3D 시간 도래 MRA 데이터에 이 방법을 적용하여, DSC, clDice, 정밀도, 민감도 및 기하학적 오차 지표를 기반으로 성능을 평가한다.

Figure 1: The baseline U-Net architecture used in the proposed approach (see Section 2.2 ). The output of this network is either the vascular segmentation (as shown here) or the vascular skeleton, depending on the chosen task.

실험 결과

연구 질문

• RQ1 학습 가능한 U-Net 기반 스켈레타이저는 3D 의료 영상에서 소프트 스켈레타 알고리즘보다 더 정확한 스켈레타를 생성할 수 있는가?
• RQ2 소프트 스켈레타를 학습 가능한 스켈레타이저로 대체할 경우, 3D TOF MRA에서 혈관 세분화의 기하학적 품질이 향상되는가?
• RQ3 학습 가능한 스켈레타이저를 사용하여 clDice 손실을 적용한 계단식 다중 작업 U-Net은 기준 모델들보다 더 나은 세분화 및 중심선 정확도를 달성할 수 있는가?
• RQ4 제안된 방법은 표준 U-Net 및 소프트 스켈레타 기반 clDice를 사용한 U-Net과 비교해 기하학적 오차와 연결성 유지 측면에서 어떻게 성능을 냈는가?

주요 결과

• 학습된 U-Net 스켈레타이저는 소프트 스켈레타 알고리즘보다 유의미하게 더 정확한 스켈레타를 생성하였으며, 모든 기하학적 지표(χ 오차, β₀, β₁, 스켈레타이제이션 오차)에서 p값 < 0.001을 기록하였다.
• 계단식 다중 작업 U-Net은 U-Net (Dice) 기준 모델 대비 χ 오차에서 24.3% 상대적 감소를 기록하였으며, 이는 0.379 ± 0.186에서 0.495 ± 0.187로, p < 0.001이었다.
• U-Net (Dice+clDice) 기준 모델 대비 β₁ 오차에서 유의미한 향상(0.170 ± 0.104 대비 0.212 ± 0.137)을 보였으며, p = 0.02였다.
• DSC 및 clDice 점수는 유사했지만, 제안된 방법은 더 높은 민감도(0.746 ± 0.040)와 더 적은 가짜 음성 결과를 보였으며, 이는 연결된 혈관 구조를 더 잘 탐지함을 시사한다.
• 그림 3의 정성적 결과는 제안된 방법이 기준 모델들보다 더 잘 말단 혈관 분지를 재연결하여 기하학적 구조를 더 효과적으로 유지함을 보여준다.
• 정밀도는 약간 낮았음에도 불구하고, 제안된 방법은 U-Net (Dice+clDice) 기준 모델보다 기하학적 지표에서 뛰어난 성능을 보였으며, 경계 정확도보다 연결성 유지 측면에서의 희생을 수용하는 전략임을 시사한다.

Figure 2: Architecture of the proposed cascaded U-Net (see Section 2.2 ).