[논문 리뷰] Was there COVID-19 back in 2012? Challenge for AI in Diagnosis with Similar Indications

Imon Banerjee, Priyanshu Sinha외 6명|arXiv (Cornell University)|2020. 06. 23.

COVID-19 diagnosis using AI참고 문헌 19인용 수 5

한 줄 요약

이 연구는 내부 데이터에서 훈련된 두 개의 딥러닝 모델인 COVID-Net과 CoroNet이 외부 데이터셋을 통해 흉부 X-레이에서 코로나19를 진단하는 데 있어 일반화 능력을 평가한다. 내부 데이터에서 뛰어난 성능를 보였음에도 불구하고, 두 모델 모두 높은 위양성률을 보이며, 특히 COVID-Net은 ChexPert에서 55.3%, MIMIC-CXR에서 23.4%의 위양성률을 보였다. 이는 과적합과 RT-PCR 결과 및 영상 소견 간의 불일치로 인한 불완전한 진단 기준으로 인해 일반화 능력이 떨어지는 것으로 보이며, 이는 주로 불균형하거나 잘못된 진단 기준 레이블로 인한 것이다.

ABSTRACT

Purpose: Since the recent COVID-19 outbreak, there has been an avalanche of research papers applying deep learning based image processing to chest radiographs for detection of the disease. To test the performance of the two top models for CXR COVID-19 diagnosis on external datasets to assess model generalizability. Methods: In this paper, we present our argument regarding the efficiency and applicability of existing deep learning models for COVID-19 diagnosis. We provide results from two popular models - COVID-Net and CoroNet evaluated on three publicly available datasets and an additional institutional dataset collected from EMORY Hospital between January and May 2020, containing patients tested for COVID-19 infection using RT-PCR. Results: There is a large false positive rate (FPR) for COVID-Net on both ChexPert (55.3%) and MIMIC-CXR (23.4%) dataset. On the EMORY Dataset, COVID-Net has 61.4% sensitivity, 0.54 F1-score and 0.49 precision value. The FPR of the CoroNet model is significantly lower across all the datasets as compared to COVID-Net - EMORY(9.1%), ChexPert (1.3%), ChestX-ray14 (0.02%), MIMIC-CXR (0.06%). Conclusion: The models reported good to excellent performance on their internal datasets, however we observed from our testing that their performance dramatically worsened on external data. This is likely from several causes including overfitting models due to lack of appropriate control patients and ground truth labels. The fourth institutional dataset was labeled using RT-PCR, which could be positive without radiographic findings and vice versa. Therefore, a fusion model of both clinical and radiographic data may have better performance and generalization.

연구 동기 및 목표

• 내부 코로나19 데이터셋에서 훈련된 딥러닝 모델의 외부 실생활 데이터셋으로의 일반화 능력을 평가하기 위해.
• RT-PCR 결과와 영상 소견 간의 레이블 불일치가 모델 성능에 미치는 영향을 조사하기 위해.
• 기관 및 공공 데이터베이스를 포함한 다양한 데이터셋에서 최고 수준의 두 모델인 COVID-Net과 CoroNet의 내성 및 일반화 능력을 비교하기 위해.
• 현재 CXR 기반 코로나19 진단을 위한 AI 모델의 한계, 특히 과적합과 높은 위양성률을 규명하기 위해.

제안 방법

• ChexPert, MIMIC-CXR, ChestX-ray14 등 세 개의 공개 데이터셋과 2020년 1월에서 5월 사이에 수집한 기관 내 EMORY 병원 데이터셋에서 COVID-Net과 CoroNet을 평가하였다.
• EMYOR 데이터셋의 레이블링 기준으로 RT-PCR 결과를 사용하였으며, 영상 소견과의 불일치 가능성을 고려했다.
• 모든 데이터셋에서 감도, 정밀도, F1-스코어, 위양성률(FPR) 등의 표준 지표를 사용하여 성능을 측정하였다.
• 다양한 데이터셋 간의 모델 성능 비교를 통해 외부 타당성과 일반화 능력을 평가하였다.
• RT-PCR 양성 결과와 영상 소견 간의 불일치를 분석하여 레이블 신뢰도를 평가하였다.
• 임상 및 영상 데이터 융합이 모델의 내성 및 일반화 능력을 향상시킬 수 있을 것이라 제안하였다.

실험 결과

연구 질문

• RQ1 COVID-Net과 CoroNet은 훈련에 사용되지 않은 외부 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ2 혼합되거나 불완전한 진단 기준 레이블이 포함된 데이터셋에 적용했을 때 이들의 위양성률은 얼마인가?
• RQ3 RT-PCR 결과와 영상 소견 간의 레이블 불일치가 모델 성능에 어느 정도의 영향을 미치는가?
• RQ4 내부 데이터셋에서 잘 작동하는 모델이 실생활 임상 데이터에선 일반화되지 않는 이유는 무엇인가?
• RQ5 임상 데이터를 영상 특징과 융합하면 모델의 일반화 능력 향상과 위양성률 감소에 기여할 수 있는가?

주요 결과

• COVID-Net은 ChexPert 데이터셋에서 55.3%의 위양성률을 보였고, MIMIC-CXR에서는 23.4%로 일반화 능력이 떨어지는 것으로 나타났다.
• EMYOR 기관 데이터셋에서 COVID-Net은 감도 61.4%, F1-스코어 0.54, 정밀도 0.49를 기록하여 진단 성능이 열악한 것으로 나타났다.
• CoroNet은 위양성률이 상당히 낮게 나타났다: EMORY에서 9.1%, ChexPert에서 1.3%, ChestX-ray14에서 0.02%, MIMIC-CXR에서 0.06%.
• 두 모델이 외부 데이터에서 성능이 급격히 떨어지는 것은 과적합의 징후로 보이며, 이는 부족한 대조군 및 레이블 노이즈로 인한 것으로 보인다.
• EMYOR 데이터셋에서 RT-PCR 결과와 영상 소견 간의 불일치는 신뢰할 수 있는 진단 기준을 정의하는 데 어려움을 제기한다.
• 본 연구는 임상 및 영상 데이터 융합이 실생활 환경에서 모델의 내성 및 일반화 능력을 향상시키기 위해 필수적일 수 있다고 결론 내린다.