[논문 리뷰] COVID-19 Prognosis via Self-Supervised Representation Learning and Multi-Image Prediction

Anuroop Sriram, Matthew J. Muckley외 8명|PubMed|2021. 01. 13.

COVID-19 diagnosis using AI인용 수 31

한 줄 요약

이 논문은 공개 데이터셋에서 MoCo 자기지도 학습으로 흉부 X-레이 표현을 사전 학습하고 COVID-19 악화 예측을 위해 파인튜닝하며, 단일 이미지 및 다중 이미지(Transformer 기반) 접근법을 포함하여 지도 학습 기반 기준선보다 더 높은 AUC를 달성하고 방사선 전문의와 비교한다.

ABSTRACT

The rapid spread of COVID-19 cases in recent months has strained hospital resources, making rapid and accurate triage of patients presenting to emergency departments a necessity. Machine learning techniques using clinical data such as chest X-rays have been used to predict which patients are most at risk of deterioration. We consider the task of predicting two types of patient deterioration based on chest X-rays: adverse event deterioration (i.e., transfer to the intensive care unit, intubation, or mortality) and increased oxygen requirements beyond 6 L per day. Due to the relative scarcity of COVID-19 patient data, existing solutions leverage supervised pretraining on related non-COVID images, but this is limited by the differences between the pretraining data and the target COVID-19 patient data. In this paper, we use self-supervised learning based on the momentum contrast (MoCo) method in the pretraining phase to learn more general image representations to use for downstream tasks. We present three results. The first is deterioration prediction from a single image, where our model achieves an area under receiver operating characteristic curve (AUC) of 0.742 for predicting an adverse event within 96 hours (compared to 0.703 with supervised pretraining) and an AUC of 0.765 for predicting oxygen requirements greater than 6 L a day at 24 hours (compared to 0.749 with supervised pretraining). We then propose a new transformer-based architecture that can process sequences of multiple images for prediction and show that this model can achieve an improved AUC of 0.786 for predicting an adverse event at 96 hours and an AUC of 0.848 for predicting mortalities at 96 hours. A small pilot clinical study suggested that the prediction accuracy of our model is comparable to that of experienced radiologists analyzing the same information.

연구 동기 및 목표

• 자원이 제한된 병동 환경에서 흉부 X-레이 데이터를 활용한 COVID-19 환자의 신속하고 정확한 분류/초기 선별을 촉진한다.
• COVID-19 악화 예측 작업에 파인튜닝하기 전에 일반화 가능한 영상 표현을 학습하기 위한 자기지도 사전 학습을 조사한다.
• 유사 사건 및 산소 요구량에 대한 단일 이미지 및 시퀀스 기반(다중 이미지) 예측 구조를 평가한다.
• 파일럿 리더 연구에서 방사선 전문의 예측과 모델의 성능을 비교 평가한다.

제안 방법

• COVID 레이블을 사용하지 않고 대형 공개 흉부 X-레이 데이터셋(MIMIC-CXR-JPG 및 CheXpert)에서 Momentum Contrast (MoCo)로 DenseNet-121 인코더를 사전 학습한다.
• 사전 학습된 인코더를 다운스트림 작업에 파인튜닝한다: 24–96시간 이내의 임의의 악화 사건에 대한 단일 이미지 예측(SIP) 및 24–96시간 이내의 산소 공급 필요량 예측(ORP) (>6 L/day).
• 상대 시간과 함께 흉부 X-ray 시퀀스를 입력으로 하는 Transformer 기반 아키텍처(MIP)를 개발하고, Continuous Positional Embedding (CPE)와 시간 인식 변환기를 사용하여 악화 사건을 예측한다.
• 시퀀스 내 과거 이미지를 무작위로 드롭하여 견고성을 높이는 DropImage 정규화를 도입한다.
• 자기지도 사전 학습과 지도 사전 학습을 비교하고 부트스트랩 기반 통계적 유의성 검정을 수행한다.

실험 결과

연구 질문

• RQ1 비-COVID 흉부 X-ray에 대한 자기지도 사전 학습이 감독 학습에 비해 COVID-19 악화 예측을 향상시키는 표현을 생성할 수 있는가?
• RQ2 Transformer를 이용한 흉부 X-ray의 시간적 시퀀스 도입이 단일 이미지 모델에 비해 악화 사건 및 사망 예측을 향상시키는가?
• RQ3 MoCo 기반 접근법이 COVID-GMIC 모델 및 리더 연구에서 방사선 전문의와 어떻게 비교되는가?
• RQ4 다양한 예측 예에서 SIP와 ORP 작업의 상대적 이점은 무엇인가?
• RQ5 타깃 작업이 COVID-19 환자를 포함할 때 공개 사전 학습 데이터(MIMIC-CXR, CheXpert)를 결합하여 사전 학습하는 것이 이점이 있는가?

주요 결과

• 자기지도 MoCo 사전 학습은 SIP에서 모든 시간 범위에 대해 감독 사전 학습보다 더 높은 AUC를 산출하며(72시간 및 96시간에서 유의함).
• SIP의 경우 전체 미세조정으로 MoCo 사전 학습이 48, 72, 96시간에서 최상의 AUC를 달성하는 반면, 분류기만 미세조정하는 MoCo는 24시간에 최고를 보인다.
• X-ray 시퀀스를 사용하는 MIP 변환기 모델은 모든 시간 창에서 단일 이미지 MoCo 기준선을 넘어 악화 사건 예측에서 AUC를 향상시키며, 24, 48, 72시간에서 유의한 이득을 보인다.
• 파일럿 리더 연구에서 방사선 전문의와 비교했을 때 MIP 변환기는 모든 악성 사건 예측에서 방사선 전문의의 성능과 일치하거나 미세하게 상회하고, 일부 작업에서 방사선 전문의의 변동성이 더 넓다.
• 공개 데이터에서 MoCo로 SIP AUC는 각각 24, 48, 72, 96시간에서 0.686, 0.719, 0.726, 0.742를 보이며(최고 MoCo), 같은 시점에서 COVID-GMIC은 0.695, 0.716, 0.717, 0.738이다.
• ORP 결과는 감독 사전 학습이 MoCo와 경쟁할 수 있음을 시사하며, 일부 제거에서 24시간에 MoCo가 향상되는 경우도 있다; 전반적으로 SIP와 ORP 작업의 시간 역학은 다르다.
• DropImage 정규화를 포함한 Transformer 기반 MIP 모델은 ICU 전원, 사망률 및 전반적 악화 사건 예측에서 단일 이미지 MoCo 기준선보다統계적으로 유의미한 이득을 제공한다.