[논문 리뷰] The Liver Tumor Segmentation Benchmark (LiTS)

Patrick Bilic, Patrick Ferdinand Christ외 107명|Rare & Special e-Zone (The Hong Kong University of Science and Technology)|2019. 01. 13.

Hepatocellular Carcinoma Treatment and Prognosis인용 수 251

한 줄 요약

LiTS는 공공 다중기관 CT 간 및 간 종양 분할 벤치마크를 도입하며, 데이터세트, ISBI MICCAI 이벤트에서의 챌린지 구성, 간 및 종양 분할과 종양 탐지의 최첨단 결과를 상세히 제시한다.

ABSTRACT

In this work, we report the set-up and results of the Liver Tumor Segmentation Benchmark (LiTS), which was organized in conjunction with the IEEE International Symposium on Biomedical Imaging (ISBI) 2017 and the International Conferences on Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2017 and 2018. The image dataset is diverse and contains primary and secondary tumors with varied sizes and appearances with various lesion-to-background levels (hyper-/hypo-dense), created in collaboration with seven hospitals and research institutions. Seventy-five submitted liver and liver tumor segmentation algorithms were trained on a set of 131 computed tomography (CT) volumes and were tested on 70 unseen test images acquired from different patients. We found that not a single algorithm performed best for both liver and liver tumors in the three events. The best liver segmentation algorithm achieved a Dice score of 0.963, whereas, for tumor segmentation, the best algorithms achieved Dices scores of 0.674 (ISBI 2017), 0.702 (MICCAI 2017), and 0.739 (MICCAI 2018). Retrospectively, we performed additional analysis on liver tumor detection and revealed that not all top-performing segmentation algorithms worked well for tumor detection. The best liver tumor detection method achieved a lesion-wise recall of 0.458 (ISBI 2017), 0.515 (MICCAI 2017), and 0.554 (MICCAI 2018), indicating the need for further research. LiTS remains an active benchmark and resource for research, e.g., contributing the liver-related segmentation tasks in \url{http://medicaldecathlon.com/}. In addition, both data and online evaluation are accessible via \url{www.lits-challenge.com}.

연구 동기 및 목표

• 간과 종양 주석이 포함된 대규모의 다양한 공공 복부 CT 데이터 데이터세트를 제공한다.
• 자동 간 및 간 종양 분할을 위한 표준화된 다년간 벤치마킹 프레임워크를 확립한다.
• 최첨단 분할 방법을 평가하고 간 및 종양 작업 전반의 성능을 분석한다.
• 온라인 평가 도구와 통계를 제공하여 진행 상황을 추적하고 재현성을 장려한다.

제안 방법

• 7개 기관으로부터 131개의 학습 이미지와 70개의 테스트 이미지를 포함한 201개의 복부 CT 볼륨을 수집하여 대부분 간 병변을 포함한다.
• 방사선 전문의와 검증을 위한 블라인드 판독자가 간 및 종양 라벨에 대해 수동 슬라이스별 주석을 적용한다.
• Codalab 기반의 온라인 평가 플랫폼과 함께 LiTS를 세 가지 챌린지 이벤트(ISBI 2017, MICCAI 2017, MICCAI 2018 Decathlon)로 조직한다.
• 주요 메트릭으로 Dice 점수를 포함한 평가 지표를 정의하고, 표면 거리(ASD, MSSD) 및 부피 차이(RVD)도 포함한다.
• 3D 연결 구성 요소에 대해 계산된 병변 탐지 메트릭(IoU, 정밀도, 재현율, F1)을 포함한다.
• 오픈 소스 평가 코드를 게시하고 지속적인 벤치마킹을 위한 온라인 리더보드를 유지한다.

실험 결과

연구 질문

• RQ1 다양한 다기관 CT 데이터에서 자동 간 및 간 종양 분할 방법의 일반화 가능성은 얼마나 되는가?
• RQ2 최고 수준의 분할 방법은 간 분할과 간 종양 분할에서 어떻게 성능이 다른가?
• RQ3 LiTS 데이터세트에서 종양 탐지의 현재 방법의 한계는 무엇인가?
• RQ4 평가 지표가 LiTS 챌린지 간에 분할 방법의 순위에 어떻게 영향을 미치는가?

주요 결과

• 최고의 간 분할 Dice 점수는 이벤트 전반에 걸쳐 0.963으로 달성되었다.
• 최고의 간 종양 분할 Dice 점수는 ISBI 2017에서 0.674, MICCAI 2017에서 0.702, MICCAI 2018에서 0.739였다.
• 최고의 간 종양 탐지 병변별 재현율은 ISBI 2017에서 0.458, MICCAI 2017에서 0.515, MICCAI 2018에서 0.554였다.
• 탐지는 최고 수준의 분할 방법들이 종양 탐지에서 일관되게 뛰어나지 않음을 시사하며 개선의 여지를 강조한다.
• LiTS는 지속적인 데이터와 온라인 평가(www.lits-challenge.com)를 제공하고 Medical Decathlon 간 과제에 기여했다.