[논문 리뷰] POCOVID-Net: Automatic Detection of COVID-19 From a New Lung Ultrasound Imaging Dataset (POCUS)

Jannis Born, Gabriel Brändle외 5명|arXiv (Cornell University)|2020. 04. 25.

Ultrasound in Clinical Applications참고 문헌 66인용 수 158

한 줄 요약

이 논문은 COVID-19를 탐지하기 위해 1103-lung-POCUS 이미지 데이터셋에서 학습된 CNN인 POCOVID-Net을 제시하며, 프레임 단위 정확도 89%, 비디오 정확도 92%, COVID-19에 대한 민감도 96%를 달성하고 데이터 기여 및 예측을 위한 공개 웹 서비스를 제공합니다.

ABSTRACT

With the rapid development of COVID-19 into a global pandemic, there is an ever more urgent need for cheap, fast and reliable tools that can assist physicians in diagnosing COVID-19. Medical imaging such as CT can take a key role in complementing conventional diagnostic tools from molecular biology, and, using deep learning techniques, several automatic systems were demonstrated promising performances using CT or X-ray data. Here, we advocate a more prominent role of point-of-care ultrasound imaging to guide COVID-19 detection. Ultrasound is non-invasive and ubiquitous in medical facilities around the globe. Our contribution is threefold. First, we gather a lung ultrasound (POCUS) dataset consisting of 1103 images (654 COVID-19, 277 bacterial pneumonia and 172 healthy controls), sampled from 64 videos. This dataset was assembled from various online sources, processed specifically for deep learning models and is intended to serve as a starting point for an open-access initiative. Second, we train a deep convolutional neural network (POCOVID-Net) on this 3-class dataset and achieve an accuracy of 89% and, by a majority vote, a video accuracy of 92% . For detecting COVID-19 in particular, the model performs with a sensitivity of 0.96, a specificity of 0.79 and F1-score of 0.92 in a 5-fold cross validation. Third, we provide an open-access web service (POCOVIDScreen) that is available at: https://pocovidscreen.org. The website deploys the predictive model, allowing to perform predictions on ultrasound lung images. In addition, it grants medical staff the option to (bulk) upload their own screenings in order to contribute to the growing public database of pathological lung ultrasound images. Dataset and code are available from: https://github.com/jannisborn/covid19_pocus_ultrasound. NOTE: This preprint is superseded by our paper in Applied Sciences: https://doi.org/10.3390/app11020672

연구 동기 및 목표

• 진단용 포인트 오브 케어 음파검사(POCUS)를 활용한 빠른 COVID-19 선별의 동기화 및 기존 분자 테스트 보완.
• COVID-19, 폐렴, 건강한 대조군에 라벨링된 흉부 초음파 기록의 최초 공개 데이터세트를 제공.
• 프레임 수준 및 비디오 수준의 COVID-19 탐지를 위한 CNN(POCOVID-Net)을 개발하고 검증.
• 초현용 접근 가능한 웹 서비스(POCOVIDScreen)를 제공하여 초음파 이미지에 대한 예측 및 새로운 데이터 수집.

제안 방법

• 64개 비디오에서 COVID-19, 폐렴, 건강한 3-클래스 흉부 POCUS 이미지 데이터셋을 구성한 뒤 처리 후 1103장으로 구성.
• ImageNet에 사전 학습된 VGG-16 기반 CNN(POCOVID-Net)을 사용하고 단일 숨은 층(64 뉴런), 드롭아웃 0.5, 배치 정규화, 마지막 세 층을 미세조정.
• Adam 옵티마이저(lr=1e-4)를 사용한 교차 엔트로피 손실로 학습하고 데이터 증강(회전, 뒤집기, 시프트)을 적용.
• 5-폴드 교차 검증으로 평가하되 트레이닝/테스트를 서로 다르게 유지하기 위해 비디오 단위로 데이터 분할.
• COVID-Net 및 ResNet 기반 대안을 비교하고 프레임-투-비디오 집계는 다수결 투표 또는 평균 확률을 통해 수행.

실험 결과

연구 질문

• RQ1 폐 초음파 프레임에서 학습된 CNN이 COVID-19를 pneumonia 및 healthy tissue와 구별할 수 있는가?
• RQ2 다양하고 공개된 초음파 데이터 세트에서 POCOVID-Net의 프레임 수준 및 비디오 수준 성능은 어떠한가?
• RQ3 초음파 데이터에 적용했을 때 X-ray/CT 기반의 기존 COVID-19 분류기와 POCOVID-Net의 성능 차이는 무엇인가?
• RQ4 데이터 다양성과 증강이 초음파 기반 COVID-19 탐지의 모델 일반화에 미치는 영향은 무엇인가?

주요 결과

• POCOVID-Net은 프레임 수준 삼중 클래스 분류에서 전체 정확도 0.89, 균형 정확도 0.82를 달성.
• COVID-19 탐지 민감도는 프레임 수준에서 0.96, 특이도 0.79, F1-점수 0.92.
• 폐렴은 0.93 민감도, 0.98 특이도, 0.94 F1-점수; 건강한 클래스는 0.55 민감도 및 0.98 특이도.
• 비디오 수준 집계는 COVID-19, 폐렴, 또는 건강한 분류에 대해 92% 정확도(균형 0.84).
• 같은 데이터에서 X-ray의 COVID-Net과 비교했을 때 POCOVID-Net은 더 높은 정확도와 균형 정확도(0.82 vs 0.63)를 보임; COVID-Net은 건강한 클래스에서 어려움을 겪음(민감도 0%).
• 저자들은 예측 및 데이터 제출을 위한 공개 웹 서비스(POCOVIDScreen)를 제공하여 커뮤니티 데이터 성장을 촉진.