[논문 리뷰] VerSe: A Vertebrae Labelling and Segmentation Benchmark

Anjany Sekuboyina, Amirhossein Bayat외 28명|arXiv (Cornell University)|2020. 01. 24.

Medical Imaging and Analysis인용 수 27

한 줄 요약

이 논문은 임상적으로 현실적인 160개의 CT 스캔을 사용하여 척추의 라벨링과 세분화를 위한 대규모 벤치마크인 VerSe를 소개한다. 인간-기계 혼합 방법을 통해 애너테이션을 수행하였으며, 11개의 자동화된 알고리즘을 평가하여 최상의 성능 알고리즘이 척추 식별률 95%와 90%의 Dice 계수를 기록하였다. 모든 데이터와 도구는 향후 연구를 위해 공개되어 있다.

ABSTRACT

This work is a technical report concerning the Large Scale Vertebrae Segmentation Challenge (VerSe) organised in conjunction with the MICCAI 2019. The challenge set-up consisting of two tasks, vertebrae labelling and vertebrae segmentation, is detailed. A total of 160 multidetector CT scans closely resembling a typical spine-centreed clinical setting were prepared and annotated at voxel-level by a human-machine hybrid algorithm. Both the annotation protocol and the algorithm that aided the medical experts in this annotation process are presented. More importantly, eleven fully automated algorithms of the participating teams were submitted to be benchmarked on the VerSe data. This work presents a detailed performance analysis of these algorithms with the best performing algorithm achieving a vertebrae identification rate of 95% and a Dice coefficient of 90%. VerSe'19 is an open-call challenge and its image data along with the annotations and evaluation tools will continue to be publicly accessible through its online portal.

연구 동기 및 목표

• CT 스캔에서 척추 세분화 및 라벨링을 위한 대규모이고 임상적으로 관련성이 높은 벤치마크를 구축하기 위해.
• 정확한 볼륨 수준 세분화를 위한 인간-기계 혼합 애너테이션 프로토콜을 개발하고 검증하기 위해.
• 표준화된 데이터셋에서 11개의 완전 자동화된 알고리즘의 성능을 평가하고 비교하기 위해.
• 척추 영상 분석 연구의 지속적 발전을 지원하기 위해 공개 가능한 데이터, 애너테이션 및 평가 도구를 제공하기 위해.

제안 방법

• 이 도전은 일반적인 척추 중심 임상 촬영을 반영하는 160개의 多검출기 CT 스캔을 사용하였다.
• 전문가의 입력과 자동화된 보조 기능을 조합하여 볼륨 수준의 애너테이션을 생성하기 위해 인간-기계 혼합 알고리즘을 적용하였다.
• 구조화된 가이드라인과 반복적 보완을 통해 일관성과 정확성을 확보하는 애너테이션 프로토콜을 수립하였다.
• 참가 팀에서 제출한 11개의 완전 자동화된 알고리즘을 표준화된 지표를 사용하여 벤치마크 데이터셋에서 평가하였다.
• 성능 평가에는 척추 식별률과 세분화 정확도를 측정하기 위한 Dice 계수를 사용하였다.
• 평가 프레임워크와 온라인 포털을 통해 재현 가능한 벤치마킹과 결과에 대한 공개 접근을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 대규모이고 임상적으로 관련성이 높은 CT 데이터셋에서 최신 자동화된 알고리즘의 척추 라벨링 및 세분화 성능은 어떠한가?
• RQ2 인간-기계 혼합 접근 방식은 척추 구조에 대한 고품질 볼륨 수준 애너테이션을 생성하는 데 얼마나 효과적인가?
• RQ3 개별 척추를 식별하고 세분화하는 데 있어 자동화된 방법 간의 주요 성능 차이는 무엇인가?
• RQ4 이 벤치마크는 척추 영상 분석 연구의 재현성과 진전을 어떻게 지원하는가?

주요 결과

• 최고의 성능 알고리즘이 VerSe'19 데이터셋에서 95%의 척추 식별률을 기록하였다.
• 최상의 알고리즘은 세분화 정확도에서 90%의 Dice 계수를 달성하여 참값과 높은 겹침을 보였다.
• 인간-기계 혼합 애너테이션 방법은 임상적 관련성이 높은 160개의 CT 스캔 전반에 걸쳐 신뢰할 수 있는 볼륨 수준의 애너테이션을 생성하였다.
• 벤치마크는 제출된 11개 알고리즘 간에 뚜렷한 성능 차이를 보여주었으며, 기존 방법의 향상 여지를 시사하였다.
• Verse'19 데이터셋은 애너테이션과 평가 도구를 포함하여 향후 연구를 위해 온라인 포털을 통해 여전히 공개 접근이 가능하다.