[논문 리뷰] Deep Learning Segmentation in 2D echocardiography using the CAMUS dataset : Automatic Assessment of the Anatomical Shape Validity

Sarah Leclerc, Erik Smistad외 10명|arXiv (Cornell University)|2019. 08. 08.

Radiomics and Machine Learning in Medical Imaging참고 문헌 8인용 수 6

한 줄 요약

이 논문은 전통적인 기하학적 및 임상적 평가 지표를 뛰어넘어 심장초음파 영상 분할의 해부학적 형태 타당성을 평가하기 위해 볼록성과 단순성이라는 해부학적 형태 타당성 지표를 도입한다. CAMUS 데이터셋을 사용하여, 최고 성능을 내는 U-Net 모델조차도 상당한 해부학적 이질점(최대 26%)을 생성하는 것으로 밝혀졌으며, 이는 기존 평가 지표가 생물학적으로 불가능한 형태를 탐지하지 못함을 시사한다. 따라서 심장 분할 분석에서 형태 인식 평가의 필요성을 주장한다.

ABSTRACT

We recently published a deep learning study on the potential of encoder-decoder networks for the segmentation of the 2D CAMUS ultrasound dataset. We propose in this abstract an extension of the evaluation criteria to anatomical assessment, as traditional geometric and clinical metrics in cardiac segmentation do not take into account the anatomical correctness of the predicted shapes. The completed study sheds a new light on the ranking of models.

연구 동기 및 목표

• 기존 분할 평가 지표가 심장 초음파 영상 분할에서 해부학적으로 불가능한 형태를 탐지하지 못하는 한계를 해결하기 위해.
• 특히 U-Net 변종을 포함한 딥러닝 모델이 기하학적으로 정확한 분할을 하지만 해부학적으로 타당하지 않은 결과를 내는지 평가하기 위해.
• 좌심실 및 심장근의 윤곽선에서 해부학적 타당성을 반영하는 형태 기반 기준—볼록성과 단순성—을 개발하고 검증하기 위해.
• 기하학적 지표와 해부학적 지표를 통합한 평가 프레임워크를 통해 모델 성능을 재평가하여 모델 순위와 임상적 관련성을 향상시키기 위해.
• 높은 Dice 점수나 거리 점수를 기록한 모델일지라도 여전히 해부학적으로 불가능한 형태를 생성할 수 있음을 입증하고, 이에 따라 형태 인식 평가의 필요성을 제기하기 위해.

제안 방법

• 전문가가 레이블링한 분할 결과에서 유도된 두 가지 형태 기반 지표인 볼록성(Cx) = Area(S) / Area(ConvHull(S)) 및 단순성(Sp) = √(4π·Area(S)) / Perimeter(S)를 제안함.
• 전문가가 도출한 최소 기준값(Cx > 0.960, Sp > 0.694 for LV-epi 등)을 사용하여 해부학적 타당성의 경계를 정의함.
• CAMUS 데이터셋(500명의 환자, 1000개의 2D 영상)을 대상으로 U-Net 1, U-Net 2 및 비딥러닝 기반 방법 포함 8종의 분할 알고리즘에 대해 이 지표들을 적용함.
• Dice나 거리 점수와 무관하게, Cx 또는 Sp 기준값 이하를 만족하지 못하는 분할 결과를 '해부학적 이질점'으로 분류함.
• 기하학적 지표(Dice, MD, HD)와 해부학적 이질점 비율을 통합하여 모델 성능을 재평가함으로써, 기존 평가 지표와 해부학적 지표 간의 괴리를 드러냄.
• 비정상적인 윤곽선의 변형(예: 타원형이 아닌 좌심실, 비정상적인 심장근 경계)을 시각화하여 局부 형태 위반을 설명함.

실험 결과

연구 질문

• RQ1 기하학적 지표인 Dice와 하우스도르프 거리와 같은 전통적 분할 평가 지표는 2D 심장초음파 영상에서 해부학적으로 불가능한 분할을 탐지하지 못할 수 있는가?
• RQ2 높은 기하학적 정확도를 보이는 딥러닝 모델이 여전히 기본적인 해부학적 형태 제약을 위반하는 분할 결과를 생성하는가?
• RQ3 볼록성과 단순성 지표는 심장 구조 분할에서 해부학적 타당성의 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ4 기하학적 성능과는 무관하게, 모델의 복잡성과 파rameter 수는 해부학적 이질점 생성에 어떤 영향을 미치는가?
• RQ5 기존 평가 프로토콜과 비교했을 때, 해부학적 지표를 포함함으로써 분할 모델의 순위가 얼마나 변화하는가?

주요 결과

• U-Net 1과 U-Net 2는 모두 뛰어난 기하학적 성능를 보였음에도 불구하고 상당한 해부학적 이질점(각각 95건, 318건)을 생성하여, 기하학적 성능와 해부학적 타당성 간의 괴리를 보여줌.
• U-Net 2는 Dice, MD, HD에서 U-Net 1을 앞서지만, 총 423건의 이질점 중 해부학적으로 타당한 분할은 71건(17%)에 불과했고, U-Net 1은 231건(55%)을 기록함. 이는 복잡도가 높을수록 해부학적 오류가 증가함을 시사함.
• 전문가가 도출한 해부학적 타당성의 최소 기준은 LV-epi의 경우 Cx > 0.960, Sp > 0.694이며, LV-endo의 경우 Cx > 0.741, Sp > 0.529였고, 이는 딥러닝 모델이 끊임없이 위반됨.
• 해부학적 이질점은 비정상적인 국소 변형(예: 타원형이 아닌 좌심실 윤곽선, 비정상적인 심장근 경계)에 민감하게 반응하였으며, 이는 그림 1에서 명확히 시각화됨.
• 기존 지표만으로는 모델 평가가 부족함을 입증함. 예를 들어, U-Net 2는 높은 Dice 점수를 기록했지만 최대 26%의 해부학적 이질점이 발생함. 이는 형태 인식 평가의 필요성을 강조함.
• 본 연구는 볼록성과 단순성 같은 해부학적 지표가 기하학적 지표가 놓치는 임상적으로 불가능한 형태를 탐지할 수 있음을 입증하며, 기존 평가 방식에 필수적인 보완이 됨.