[논문 리뷰] Unleashing the Strengths of Unlabeled Data in Pan-cancer Abdominal Organ Quantification: the FLARE22 Challenge

Jun Ma, Yao Zhang외 27명|arXiv (Cornell University)|2023. 08. 10.

Radiomics and Machine Learning in Medical Imaging인용 수 19

한 줄 요약

이 논문은 CT로부터 13개 복부 장기 분할을 위한 대규모 다국적 반감독 벤치마크인 FLARE22 챌린지를 제시하며, 비라벨링 데이터가 Dice 유사도와 일반화성을 향상시키고 효율성을 평가한다는 것을 보여준다.

ABSTRACT

Quantitative organ assessment is an essential step in automated abdominal disease diagnosis and treatment planning. Artificial intelligence (AI) has shown great potential to automatize this process. However, most existing AI algorithms rely on many expert annotations and lack a comprehensive evaluation of accuracy and efficiency in real-world multinational settings. To overcome these limitations, we organized the FLARE 2022 Challenge, the largest abdominal organ analysis challenge to date, to benchmark fast, low-resource, accurate, annotation-efficient, and generalized AI algorithms. We constructed an intercontinental and multinational dataset from more than 50 medical groups, including Computed Tomography (CT) scans with different races, diseases, phases, and manufacturers. We independently validated that a set of AI algorithms achieved a median Dice Similarity Coefficient (DSC) of 90.0\% by using 50 labeled scans and 2000 unlabeled scans, which can significantly reduce annotation requirements. The best-performing algorithms successfully generalized to holdout external validation sets, achieving a median DSC of 89.5\%, 90.9\%, and 88.3\% on North American, European, and Asian cohorts, respectively. They also enabled automatic extraction of key organ biology features, which was labor-intensive with traditional manual measurements. This opens the potential to use unlabeled data to boost performance and alleviate annotation shortages for modern AI models.

연구 동기 및 목표

• 크고 다양한 다국적 CT 데이터세트를 사용하여 주석 효율적인 복부 장기 분할을 입증한다.
• 실제 배포 제약을 반영하기 위해 분할 정확도와 자원 효율성 모두를 평가한다.
• 북미, 유럽, 아시아의 외부 코호트에 대한 최상위 방법의 일반화를 평가한다.
• 전반적인 암 대상 복부 장기 정량에서 비라벨링 데이터가 성능을 어떻게 향상시키는지 탐구한다.

제안 방법

• 13개 복부 장기에 대해 2900명 환자, 725000 슬라이스, 53개 그룹, 7개 제조사, 4단계의 대규모 다인종 다중센터 CT 데이터셋을 구성한다.
• 분할 알고리즘 개발을 위해 2000개의 비라벨링 사례와 50개의 라벨링 사례를 활용한 반감독 태스크를 설계한다.
• DSC와 NSD를 포함한 내부 검증과 런타임, GPU 메모리, CPU 사용량 등의 효율성 지표로 알고리즘을 평가한다.
• 일부 독립적인 북미, 유럽, 아시아 코호트에서 최상위 알고리즘을 외부적으로 검증하여 일반화를 평가한다.
• 도커 기반 제출 프레임워크와 우선 순위-여러 방법을 공정하게 비교하기 위한 순위-집계 평가 전략을 사용한다.

실험 결과

연구 질문

• RQ1 비라벨링 CT 데이터가 반감독 설정에서 복부 장기 분할 성능을 향상시킬 수 있는가?
• RQ2 최상위 성능의 반감독 방법들은 다양한 국제 코호트에서 일반화되는가?
• RQ3 실용적 배치를 위한 분할 정확도와 계산 효율성 간의 트레이드오프는 어떤가?
• RQ4 어떤 장기 클래스가 코호트마다 여전히 도전적인가, 그리고 그 이유는 무엇인가?
• RQ5 가짜 라벨 학습이 영상 프로토콜의 변화에 대한 견고성에 어떤 영향을 미치는가?

주요 결과

• 비라벨링 데이터가 분할 성능을 크게 향상시키며, 내부 검증에서 비라벨링 데이터를 사용한 경우 중앙값 DSC가 9.8% 포인트 증가했다.
• 상위 세 알고리즘은 정확도-효율성의 균형을 우호적으로 달성했고, 중앙값 DSC가 약 88.6%~89.4%인 15초 이내의 실행 시간과 2 GB 미만의 GPU 메모리로 평가되었다.
• 외부 코호트에서도 중앙값 DSC가 유사하게 나타나 일반화가 강하게 시사되었다(NAM 89.3%, EUR 90.9%, Asian 87.5%).
• 큰 용량의 장기들(간, 신장, 비장)은 상위 방법들에서 DSC >90%를 달성했으나 췌장, 위, 십이지장은 더 도전적이었다.
• 비라벨링 데이터로 가능해진 모델은 외부 코호트의 모든 세 곳에서 비라벨링 데이터가 없는 모델보다 일관되게 우수한 일반화 성능을 보였다.