[논문 리뷰] COVIDx CT-3: A Large-scale, Multinational, Open-Source Benchmark Dataset for Computer-aided COVID-19 Screening from Chest CT Images

Hayden Gunraj, Tia Tuinstra외 1명|arXiv (Cornell University)|2022. 06. 07.

COVID-19 diagnosis using AI인용 수 6

한 줄 요약

COVIDx CT-3는 최소 17개국에서 온 6,068명의 환자로부터 확보한 431,205장의 흉부 CT 슬라이스를 포함한 대규모 다국적 오픈소스 기준 데이터셋을 제공하며, 기계학습 기반 코로나19 스크리닝에 유용하다. 규모와 다양성에도 불구하고, 중국 환자 비율이 42.2%이고, 73.4%의 영상이 코로나19로 레이블링되어 있어 모델의 일반화 능력에 영향을 주는 심각한 지역적·클래스 불균형이 드러나, 데이터 편향 문제를 명백히 보여준다.

ABSTRACT

Computed tomography (CT) has been widely explored as a COVID-19 screening and assessment tool to complement RT-PCR testing. To assist radiologists with CT-based COVID-19 screening, a number of computer-aided systems have been proposed. However, many proposed systems are built using CT data which is limited in both quantity and diversity. Motivated to support efforts in the development of machine learning-driven screening systems, we introduce COVIDx CT-3, a large-scale multinational benchmark dataset for detection of COVID-19 cases from chest CT images. COVIDx CT-3 includes 431,205 CT slices from 6,068 patients across at least 17 countries, which to the best of our knowledge represents the largest, most diverse dataset of COVID-19 CT images in open-access form. Additionally, we examine the data diversity and potential biases of the COVIDx CT-3 dataset, finding that significant geographic and class imbalances remain despite efforts to curate data from a wide variety of sources.

연구 동기 및 목표

• 코로나19 스크리닝을 위한 기계학습 모델 훈련 및 평가를 위해 대규모, 다양한, 공개 접근이 가능한 CT 데이터셋의 부족을 보완하기 위해.
• 이전 연구들이 단일 국가 환자군이나 소규모 비대표성 있는 데이터셋에 의존한 한계를 극복하기 위해.
• 흉부 CT 영상에서 일반화 가능한 컴퓨터 지원 코로나19 검출 시스템 개발을 가속화하기 위해 기준 데이터셋을 제공하기 위해.
• 대규모 다국적 의료 영상 데이터셋에서의 데이터 다양성과 잠재적 편향을 조사하고 정량화하여 향후 데이터 정제 작업에 안내를 제공하기 위해.
• 명확한 레이블링 프로토콜과 데이터 기원 정보를 포함한 표준화되고 철저히 정제된 데이터셋을 공개함으로써 재현 가능한 연구를 지원하기 위해.

제안 방법

• 중국국가의료정보센터(CNCB), NIH ITAC, COVID-CT-MD, LIDC-IDRI, Radiopaedia 등 11개 국제 기관의 CT 영상을 통합하여 광범위한 지리적 및 촬영 프로토콜 다양성을 확보하기 위해.
• 세 가지 레이블링 전략을 활용: 기초 감염 마스크를 기반으로 한 세분화 기반 레이블링, 명백한 이상소견에 대한 비전문가 수동 레이블링, 사전 훈련된 모델을 활용한 모델 기반 자동 레이블링.
• 모든 슬라이스에 환자 수준에서 레이블을 할당하여 데이터셋 전반에 걸쳐 일관성을 확보하였으며, 최종 레이블은 환자 진단 기반으로 코로나19, CAP 또는 정상으로 결정됨.
• 훈련(84%), 검증(8%), 테스트(8%) 세트로 데이터셋을 분할하였으며, 검증 및 테스트 세트에는 전문가가 레이블링한 결과를 확보하여 신뢰도를 확보함.
• 확실한 임상 진단이 확인된 고품질, 익명화 및 식별 정보 제거된 CT 슬라이스만 포함하기 위해 철저한 데이터 정제 절차를 적용함.
• 환자의 인구통계학적 분포, 지리적 기원, 연령, 성별, 클래스 불균형을 종합적으로 분석하여 데이터셋의 편향성과 대표성을 평가함.

실험 결과

연구 질문

• RQ1 COVIDx CT-3 데이터셋은 환자의 지리적 기원, 연령, 성별 측면에서 세계적 다양성을 어느 정도 반영하고 있는가?
• RQ2 코로나19, CAP, 정상 케이스 간의 클래스 불균형이 이 데이터셋을 기반으로 훈련된 기계학습 모델의 성능과 공정성에 어떤 영향을 미치는가?
• RQ3 대규모 오픈소스 의료 영상 데이터셋에서 주요 편향의 근본 원인은 무엇이며, 이는 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 COVIDx CT-3와 같은 대규모 다국적 데이터셋이 코로나19 스크리닝을 위한 AI 모델 훈련 및 평가의 신뢰할 수 있는 기준 데이터셋으로 기능할 수 있는가?
• RQ5 비전문가 및 자동화된 레이블링의 포함이 연구 목적에 있어 데이터셋의 신뢰성과 유용성에 어떤 영향을 미치는가?

주요 결과

• COVIDx CT-3는 최소 17개국에서 온 6,068명의 환자로부터 확보한 431,205장의 CT 슬라이스를 포함하며, 이는 유사한 종류의 가장 큰 오픈소스 데이터셋이다.
• 환자 코hort의 42.2%가 중국에서 온 것으로 나타났으며, 85.9%의 환자가 중국, 프랑스, 러시아, 이란의 네 나라에서 촬영되었으며, 이는 강한 지리적 편향을 시사한다.
• 51.4%의 환자에서 연령이 미확인되었고, 연령이 확인된 환자 중 45.9%만 30–89세 범위에 속해 있어 청소년 및 고령 환자의 부족한 대표성을 보여준다.
• 이 데이터셋은 심각한 클래스 불균형을 보이며, 영상의 73.4%가 코로나19로, 16.6%가 CAP로, 10.0%가 정상으로 레이블링되어 있으며, 주로 훈련 세트에 집중되어 있다.
• 다양한 데이터원을 포함하기 위해 노력했음에도 불구하고, 검증 및 테스트 세트는 코로나19:CAP:정상 비율이 약 2.2:1:1로 더 균형 잡힌 비율을 유지하고 있다.
• 연구는 데이터 다양성과 편향 문제의 지속적인 과제를 확인하였으며, 향후 임상 적용을 위한 AI 모델 훈련 및 평가 시 이러한 제한 사항을 고려할 것을 연구자들에게 당부한다.