[논문 리뷰] Towards Efficient COVID-19 CT Annotation: A Benchmark for Lung and Infection Segmentation

Jun Ma, Yixin Wang외 10명|arXiv (Cornell University)|2020. 04. 26.

COVID-19 diagnosis using AI참고 문헌 44인용 수 83

한 줄 요약

이 논문은 20宗의 경우를 포함해 1,800장 이상의 레이어가 표시된, 공개 가능한 대규모 3차원 코로나19 CT 데이터셋을 소개하며, 폐 및 감염 부위 분할을 위한 세 가지 표준화된 벤치마크를 제공한다. 이는 통일된 데이터 분할, 평가 지표 및 40개 이상의 사전 학습된 모델을 통해 딥 러닝 방법 간 공정한 비교를 가능하게 하며, 데이터가 부족한 조건에서 애너테이션 효율적인 분할 기술의 발전을 이끈다.

ABSTRACT

Accurate segmentation of lung and infection in COVID-19 CT scans plays an important role in the quantitative management of patients. Most of the existing studies are based on large and private annotated datasets that are impractical to obtain from a single institution, especially when radiologists are busy fighting the coronavirus disease. Furthermore, it is hard to compare current COVID-19 CT segmentation methods as they are developed on different datasets, trained in different settings, and evaluated with different metrics. In this paper, we created a COVID-19 3D CT dataset with 20 cases that contains 1800+ annotated slices and made it publicly available. To promote the development of annotation-efficient deep learning methods, we built three benchmarks for lung and infection segmentation that contain current main research interests, e.g., few-shot learning, domain generalization, and knowledge transfer. For a fair comparison among different segmentation methods, we also provide unified training, validation and testing dataset splits, and evaluation metrics and corresponding code. In addition, we provided more than 40 pre-trained baseline models for the benchmarks, which not only serve as out-of-the-box segmentation tools but also save computational time for researchers who are interested in COVID-19 lung and infection segmentation. To the best of our knowledge, this work presents the largest public annotated COVID-19 CT volume dataset, the first segmentation benchmark, and the most pre-trained models up to now. We hope these resources (\url{this https URL}) could advance the development of deep learning methods for COVID-19 CT segmentation with limited data.

연구 동기 및 목표

• 연구를 위해 공개 가능하고 대규모이며 철저하게 애너테이션 처리된 코로나19 CT 데이터셋의 부족 문제를 해결하기 위해.
• 일관되지 않은 데이터셋, 훈련 프로토콜, 평가 지표로 인해 분할 방법 간 비교가 어려운 문제를 해결하기 위해.
• 소수의 샘플 학습, 도메인 일반화, 지식 전이를 위한 벤치마크를 설정함으로써 애너테이션 효율적인 딥 러닝을 실현하기 위해.
• 재현 가능성을 보장하기 위해 통일된 훈련, 검증, 테스트 분할을 제공하는 표준화된 플랫폼을 제공하기 위해.
• 40개 이상의 사전 학습된 모델을 공개함으로써 즉각적인 사용과 계산 비용 절감을 통해 방법 개발을 가속화하기 위해.

제안 방법

• 폐 및 감염 부위에 대해 20宗의 경우와 1,800장 이상의 애너테이션 처리된 슬라이스를 포함하는 공개된 3차원 코로나19 CT 데이터셋을 구축했다.
• 소수의 샘플 학습, 도메인 일반화, 지식 전이와 같은 핵심 연구 과제를 대상으로 하는 세 가지 분할 벤치마크를 설계했다.
• 모델 평가의 공정성과 재현 가능성을 확보하기 위해 표준화되고 공개된 데이터 분할(훈련/검증/테스트)을 확립했다.
• 일관된 평가 지표를 정의하고 관련 코드를 공개하여 다양한 방법 간 성능 비교를 통일시켰다.
• 벤치마크를 위해 40개 이상의 사전 학습된 딥 러닝 모델을 훈련 및 공개하여 강력한 베이스라인 제공 및 학습 시간 단축을 도모했다.
• 제한된 애너테이션과 데이터 부족과 같은 실제 제약 조건을 고려하여 실용적 유용성을 중시했다.

실험 결과

연구 질문

• RQ1 다양한 딥 러닝 방법 간에 코로나19 CT 영상에서 폐 및 감염 부위 분할을 평가하기 위한 표준화된 벤치마크를 어떻게 확립할 수 있는가?
• RQ2 소수의 샘플 학습 및 도메인 일반화와 같은 애너테이션 부족 조건에서 최신 기술의 성능는 어떠한가?
• RQ3 이 벤치마크에서 유래한 사전 학습된 모델이 최소한의 미세조정으로 하류 분할 성능을 얼마나 향상시킬 수 있는가?
• RQ4 통일된 평가 프로토콜은 이전 연구와 비교해 분할 방법의 재현 가능성과 비교 가능성에 어떻게 기여하는가?
• RQ5 사전 학습된 모델에서의 지식 전이가 임상 CT 분할 작업에서 광범위한 애너테이션 필요성을 크게 줄일 수 있는가?

주요 결과

• 이 연구는 지금까지 공개된 바 없는 가장 큰 3차원 코로나19 CT 애너테이션 데이터셋을 제공하며, 20宗의 경우와 1,800장 이상의 애너테이션 처리된 슬라이스를 포함한다.
• 통일된 데이터 분할 및 평가 프로토콜을 갖춘 코로나19 CT에서 폐 및 감염 부위 분할을 위한 첫 번째 표준화된 벤치마크를 도입했다.
• 40개 이상의 사전 학습된 모델을 공개하여 강력한 베이스라인을 제공하고 신규 연구의 계산 부담을 줄였다.
• 통일된 평가 프레임워크는 다양한 방법과 설정 간에 분할 모델의 공정하고 재현 가능한 비교를 가능하게 했다.
• 이 벤치마크는 소수의 샘플 학습, 도메인 일반화, 지식 전이와 같은 의료 영상 분할 분야의 핵심 연구 방향을 지원한다.
• 공개된 데이터셋 및 도구의 활용은 임상 CT 분석을 위한 데이터 효율적인 딥 러닝 방법 개발을 가속화할 것으로 기대된다.