[논문 리뷰] Intra-model Variability in COVID-19 Classification Using Chest X-ray Images

Brian D. Goodwin, Corey Jaskolski외 2명|arXiv (Cornell University)|2020. 04. 30.

COVID-19 diagnosis using AI참고 문헌 30인용 수 9

한 줄 요약

이 연구는 동일한 데이터 분할 조건에서 12개의 딥러닝 아키텍처를 사용하여 흉부 X-ray 영상에서 코로나19 분류에 대한 내모델 변동성을 평가한다. 각 모델은 동일한 데이터 분할 조건에서 무작위 시드를 다르게 하여 다섯 번씩 훈련시켜 가중치 초기화, 데이터 증강, 배치 셔플링의 영향을 분리한다. 최고의 모델은 보류된 테스트 세트에서 15%의 위음성률(20명 중 3명)을 기록했으며, 이는 동일한 아키텍처와 데이터 조건에서도 성능의 상당한 불일치를 보여주며, 임상적 신뢰성을 향상시키기 위해 더 크고 다양한 데이터셋이 절실히 필요하다는 점을 시사한다.

ABSTRACT

X-ray and computed tomography (CT) scanning technologies for COVID-19 screening have gained significant traction in AI research since the start of the coronavirus pandemic. Despite these continuous advancements for COVID-19 screening, many concerns remain about model reliability when used in a clinical setting. Much has been published, but with limited transparency in expected model performance. We set out to address this limitation through a set of experiments to quantify baseline performance metrics and variability for COVID-19 detection in chest x-ray for 12 common deep learning architectures. Specifically, we adopted an experimental paradigm controlling for train-validation-test split and model architecture where the source of prediction variability originates from model weight initialization, random data augmentation transformations, and batch shuffling. Each model architecture was trained 5 separate times on identical train-validation-test splits of a publicly available x-ray image dataset provided by Cohen et al. (2020). Results indicate that even within model architectures, model behavior varies in a meaningful way between trained models. Best performing models achieve a false negative rate of 3 out of 20 for detecting COVID-19 in a hold-out set. While these results show promise in using AI for COVID-19 screening, they further support the urgent need for diverse medical imaging datasets for model training in a way that yields consistent prediction outcomes. It is our hope that these modeling results accelerate work in building a more robust dataset and a viable screening tool for COVID-19.

연구 동기 및 목표

• 동일한 모델 아키텍처와 데이터 분할 조건에서도 코로나19 검출 성능의 변동성을 정량화하는 것.
• 가중치 초기화, 데이터 증강, 배치 셔플링과 같은 무작위 요소가 예측 신뢰성에 미치는 영향을 평가하는 것.
• 공개된 흉부 X-ray 데이터셋에서 12개의 일반적인 딥러닝 아키텍처에 대해 기준 성능 지표를 평가하는 것.
• 커뮤니티 연구를 가속화하고 모델 훈련 효율을 향상시키기 위해 사전 훈련된 모델 가중치와 훈련 코드를 제공하는 것.
• 현재 데이터셋의 한계를 부각하고, 임상적으로 유의미한 AI 스크리닝 도구를 달성하기 위해 더 다양하고 풍부한 데이터가 필요하다고 주장하는 것.

제안 방법

• 모든 실험에 동일한 80-10-10 훈련-검증-테스트 분할을 적용하여 데이터 분할의 영향을 분리한다.
• 12개의 딥러닝 아키텍처 각각을 동일한 데이터 분할 조건에서 서로 다른 무작위 시드를 사용해 다섯 번씩 훈련시켜 가중치 초기화, 데이터 증강, 배치 셔플링의 변동성을 유도한다.
• Lambda Labs GPU 하드웨어를 사용하여 PyTorch로 실험을 수행하였으며, 모델 성능은 보류된 테스트 세트에서 평가되었다.
• Cohen 등(2020)의 공개된 흉부 X-ray 데이터셋(건강한 환자, 사회적 획득성 폐렴, 코로나19 클래스 포함)을 주요 데이터 소스로 사용하였다.
• 성능 평가에는 정확도, 정밀도, 재현율, 위음성률(FNR)과 같은 표준 지표를 사용하였으며, 임상적 의미상 위음성률에 특별한 중점을 두었다.
• 사전 훈련된 모델 가중치와 훈련 코드는 커뮤니티 연구를 지원하기 위해 Creative Commons Attribution-NonCommercial 4.0 라이선스 하에 공개되었다.

실험 결과

연구 질문

• RQ1 동일한 딥러닝 아키텍처와 동일한 흉부 X-ray 데이터셋을 사용할 때, 동일한 아키텍처에서 여러 훈련 런에 걸쳐 예측 성능의 변동성이 얼마나 발생하는가?
• RQ2 모델 아키텍처와 데이터 분할 조건을 고정했을 때, 코로나19 분류 모델의 성능 변동의 주요 원인은 무엇인가?
• RQ3 공개된 흉부 X-ray 데이터에서 현재의 딥러닝 모델을 사용할 때 코로나19 검출의 최고 성능을 내는 위음성률은 얼마인가?
• RQ4 무작위성 요소를 통제한 동일한 데이터에서 훈련된 다양한 딥러닝 아키텍처 간 성능 지표는 어떻게 달라지는가?
• RQ5 현재의 공개 데이터셋이 임상적 코로나19 스크리닝을 위한 AI 모델의 신뢰성과 일관성에 얼마나 제한을 가하는가?

주요 결과

• 최고 성능을 낸 모델은 보류된 테스트 세트에서 위음성률 15% (20명 중 3명)를 기록하여 의미 있는 성능이지만 최적은 아님을 시사한다.
• 모델 아키텍처와 데이터 분할 조건을 동일하게 유지한 상태에서도 내모델 변동성이 뚜렷하게 관찰되었으며, 여러 훈련 런 간 성능 차이가 유의미하게 나타났다.
• 가중치 초기화, 데이터 증강, 배치 셔플링가 예측 변동성의 주요 원인로 규명되었으며, 이는 모델 일관성에 악영향을 미쳤다.
• 일부 런에서는 높은 성능를 기록했지만, 전체 결과는 동일한 아키텍처에서의 불일관된 행동으로 인해 현재 모델들이 임상적 배포에 신뢰할 수 없다는 점을 시사한다.
• 연구 결과는 현재 모델 신뢰성이 아키텍처 설계가 아닌 데이터셋 제약에 의해 제한되고 있으며, 일관된 결과를 얻기 위해 더 크고 다양한 데이터셋이 필수적임을 강조한다.
• 저자들은 연구 가속화와 훈련 효율 향상을 위해 사전 훈련된 가중치와 훈련 코드를 공개하여 더 견고한 스크리닝 도구 개발을 지원하고자 한다.