[논문 리뷰] The KiTS21 Challenge: Automatic segmentation of kidneys, renal tumors, and renal cysts in corticomedullary-phase CT

Nicholas Heller, Fabian Isensee외 43명|arXiv (Cornell University)|2023. 07. 05.

Renal cell carcinoma treatment인용 수 32

한 줄 요약

KiTS21은 공공 주석 워크플로우를 도입하고 ROI당 다중 주석, 그리고 corticomedullary-phase CT에서 신장, 종양, 낭종의 자동 분할을 발전시키기 위한 외부 테스트 세트를 포함하는 도전 과제를 제시하며 KiTS19보다 상당한 개선을 달성하고 인간 수준의 성능에 근접합니다.

ABSTRACT

This paper presents the challenge report for the 2021 Kidney and Kidney Tumor Segmentation Challenge (KiTS21) held in conjunction with the 2021 international conference on Medical Image Computing and Computer Assisted Interventions (MICCAI). KiTS21 is a sequel to its first edition in 2019, and it features a variety of innovations in how the challenge was designed, in addition to a larger dataset. A novel annotation method was used to collect three separate annotations for each region of interest, and these annotations were performed in a fully transparent setting using a web-based annotation tool. Further, the KiTS21 test set was collected from an outside institution, challenging participants to develop methods that generalize well to new populations. Nonetheless, the top-performing teams achieved a significant improvement over the state of the art set in 2019, and this performance is shown to inch ever closer to human-level performance. An in-depth meta-analysis is presented describing which methods were used and how they faired on the leaderboard, as well as the characteristics of which cases generally saw good performance, and which did not. Overall KiTS21 facilitated a significant advancement in the state of the art in kidney tumor segmentation, and provides useful insights that are applicable to the field of semantic segmentation as a whole.

연구 동기 및 목표

• KiTS21 데이터세트와 신장, 종양, 낭종 분할에 대한 투명하고 공개적인 주석 프로세스를 도입한다.
• 별도의 기관에서의 외부 테스트 세트를 사용하여 일반화 성능을 평가한다.
• 기술과 성능 간의 연계를 다루는 메타 분석을 통해 리더보드 방법을 분석한다.
• 의료 영상에서 시맨틱 세분화에 대한 교훈과 지침을 강조한다.

제안 방법

• 재현성을 위한 과정과 지침을 문서화한 공개 웹 기반 주석 플랫폼.
• 세 가지 독립적인 경계선 제시를 포함하는 로컬라이제이션, 가이드라인, 경계화의 3단계 주석 워크플로우로, ROI당 세 가지 독립적 경계화를 통해 경계화 오류를 정량화하고 제어한다.
• 세 가지 분할 클래스(Kidney, Tumor, Cyst) 및 계층 평가(HECs)를 포함하도록 확장한다.
• 계층적 클래스 전반에 걸친 Sprite Dice와 Surface Dice를 기반으로 한 리더보드, 종양 Dice에 대한 동점 규칙이 있다.
• 명확성과 완전성을 보장하기 위한 구조화된 템플릿을 갖춘 방법 논문의 사전 제출 동료 평가.

실험 결과

연구 질문

• RQ1 세분화 모델은 내부 학습 데이터와 비교하여 외부의 기관이 다른 테스트 세트에서 어떻게 성능을 발휘합니까?
• RQ2 어떤 모델링 접근 방식과 설계 선택(nnU-Net, coarse-to-fine, transfer learning, attention mechanisms 등)이 KiTS21에서 가장 좋은 성능을 내는가?
• RQ3 ROI당 다중 주석, 공개 보기 등의 데이터 주석 전략이 모델 성능과 재현성에 미치는 영향은?
• RQ4 HECs(계층 평가 클래스)가 종양 및 낭종 분할에서 공정성 및 오류 페널티에 어떤 영향을 미치는가?
• RQ5 KiTS21 데이터셋 내의 하위 인구집단(예: 인종 및 성별) 간에 성능 차이가 나타나나요?

주요 결과

• 상위 5개 팀은 주요 지표에서 인간 수준의 분할과 밀접하게 일치하는 성능을 달성하여 KiTS19에 비해 상당한 발전을 보여주었습니다.
• nnU-Net 기반 접근 방식이 상위 순위에서 지배적이었고, coarse-to-fine 프레임워크와 전이 학습도 상위 수행자들 사이에서 흔했습니다.
• ROI당 세 가지 독립 주석은 가변성 분석을 가능케 했고 계층적 세분화에서 견고한 평가를 보장했습니다.
• 외부 테스트 세트 평가는 기관과 지리적 위치에 걸친 일반화의 근거를 제공했습니다.
• 메타 분석은 특정 방법을 성능과 연결했고, 부트스트랩 분석은 0.05 family-wise error rate에서 1위 팀이 다른 상위 팀보다 통계적으로 유의미한 우위가 없음을 시사하여 리더보드 순위의 변동성을 강조했습니다.
• 탐색적 분석에서 하위 인구집단 간 성능 차이가 관찰되어 데이터 세트 다양성의 중요성을 강조했습니다.