[논문 리뷰] Continuous Dice Coefficient: a Method for Evaluating Probabilistic Segmentations

Reuben R. Shamir, Yuval Duchin외 3명|arXiv (Cornell University)|2019. 06. 26.

Neurological disorders and treatments인용 수 10

한 줄 요약

이 논문은 연속 딱도 계수(cDC)를 소개한다. cDC는 고전적인 딱도 계수를 확장하여 연속적인 값(0에서 1 사이)을 가지는 확률적 세그멘테이션 맵을 이진 지도(true)와 직접 비교할 수 있도록 하는 새로운 평가 지표이다. cDC는 이론적으로 잘 정의되어 있으며, 0에서 1 사이로 유한하며, 겹침이 감소함에 따라 단조 감소하고, 고전적인 딱도 계수에 비해 부분체적 효과에 대해 더 뛰어난 내성과 구조 크기 편향을 감소시킨다. 이는 히포크라스핵 및 시상의 세그멘테이션 작업을 통해 검증되었다.

ABSTRACT

Objective: Overlapping measures are often utilized to quantify the similarity between two binary regions. However, modern segmentation algorithms output a probability or confidence map with continuous values in the zero-to-one interval. Moreover, these binary overlapping measures are biased to structure size. Addressing these challenges is the objective of this work. Methods: We extend the definition of the classical Dice coefficient (DC) overlap to facilitate the direct comparison of a ground truth binary image with a probabilistic map. We call the extended method continuous Dice coefficient (cDC) and show that 1) cDC is less or equal to 1 and cDC = 1 if-and-only-if the structures overlap is complete, and, 2) cDC is monotonically decreasing with the amount of overlap. We compare the classical DC and the cDC in a simulation of partial volume effects that incorporates segmentations of common targets for deep-brainstimulation. Lastly, we investigate the cDC for an automatic segmentation of the subthalamic-nucleus. Results: Partial volume effect simulation on thalamus (large structure) resulted with DC and cDC averages (SD) of 0.98 (0.006) and 0.99 (0.001), respectively. For subthalamic-nucleus (small structure) DC and cDC were 0.86 (0.025) and 0.97 (0.006), respectively. The DC and cDC for automatic STN segmentation were 0.66 and 0.80, respectively. Conclusion: The cDC is well defined for probabilistic segmentation, less biased to structure size and more robust to partial volume effects in comparison to DC. Significance: The proposed method facilitates a better evaluation of segmentation algorithms. As a better measurement tool, it opens the door for the development of better segmentation methods.

연구 동기 및 목표

• 확률적 세그멘테이션 출력에 적용될 때 고전적인 이진 오버랩 측정법(예: 딱도 계수)의 한계를 해결하기 위해.
• 구조 크기의 차이로 인해 발생하는 세그멘테이션 평가의 편향을 줄이기 위해.
• 확률 지도를 이진 지도와 직접 평가할 수 있는 연속적이고 수학적으로 타당한 지표를 개발하기 위해.
• 특히 부분체적 효과가 존재하는 상황에서 의료 영상의 세그멘테이션 알고리즘 평가 신뢰도를 향상시키기 위해.
• 더 정확한 평가 신호를 제공하여 딥 러닝 모델의 훈련 및 최적화를 향상시키기 위해.

제안 방법

• cDC는 고전적인 딱도 계수를 연속 확률 맵에 대한 통합을 통해 확장한다.
• 오버랩을 예측 확률 맵과 지도 이진 맵의 곱의 적분으로 정의하며, 이를 예측 맵과 지도 맵의 합으로 정규화한다.
• 이 방법은 cDC ≤ 1 이며, 예측 맵이 지도와 완전히 겹칠 경우에만 cDC = 1 이 되도록 보장한다.
• cDC는 예측 및 지도 영역 간의 불일치나 이격이 증가할수록 단조 감소한다.
• 이 공식은 이산 딱도 계수의 연속 근사에서 유도되며, 핵심 이론적 성질을 유지한다.
• 모의 부분체적 효과와 히포크라스핵 및 시상의 실제 세그멘테이션을 통해 검증되었다.

실험 결과

연구 질문

• RQ1 확률적 맵과 이진 지도를 비교할 때 유한하고 해석 가능한 연속적 확장된 딱도 계수를 정의할 수 있는가?
• RQ2 cDC는 고전적인 딱도 계수에 비해 부분체적 효과 하에서 어떻게 성능을 발휘하는가?
• RQ3 cDC는 세그멘테이션 평가에서 더 큰 해부학적 구조에 대한 편향을 어느 정도 감소시키는가?
• RQ4 cDC는 신경영상에서 딥 러닝 기반 세그멘테이션 모델 평가에 더 뛰어난 내성과 신뢰도를 제공하는가?
• RQ5 cDC는 세그멘테이션 네트워크 훈련을 위한 더 나은 최적화 목표로 기능할 수 있는가?

주요 결과

• 시상(크기가 큰 구조)의 부분체적 효과 시뮬레이션에서 고전적인 딱도 계수는 평균 0.98(SD 0.006)을 기록했고, cDC는 평균 0.99(SD 0.001)를 기록하여 안정성 향상을 보였다.
• 히포크라스핵(크기가 작은 구조)의 경우 고전적인 딱도 계수는 0.86(SD 0.025)였고, cDC는 0.97(SD 0.006)에 도달하여 작은 구조에 대한 편향 감소를 확인했다.
• 히포크라스핵의 자동 세그멘테이션에서 고전적인 딱도 계수는 0.66이었고, cDC는 0.80이었으며, 이는 평가 성능 격차가 뚜렷하게 나타남을 보여주었다.
• cDC는 부분체적 효과에 대한 내성과 구조 크기 민감도 감소 측면에서 고전적인 딱도 계수를 일관되게 능가했다.
• cDC의 이론적 성질인 유한성과 단조성은 유지되었으며, 이는 연속 평가 지표로서의 타당성을 확인했다.
• 결과적으로 cDC는 의료 영상 분석에서 확률적 세그멘테이션 출력 평가에 더 신뢰성 있고 정보적인 지표임을 시사한다.