[논문 리뷰] COVID-MobileXpert: On-Device COVID-19 Patient Triage and Follow-up using Chest X-rays

Xin Li, Chengyin Li외 1명|arXiv (Cornell University)|2020. 04. 06.

COVID-19 diagnosis using AI참고 문헌 63인용 수 25

한 줄 요약

COVID-MobileXpert는 흉부 X선을 사용하여 실시간으로 코로나19 분류 및 영상학적 악화 경로 예측을 위한 경량이며 디바이스 내부에서 작동하는 딥러닝 시스템을 제안한다. 이 시스템은 사전 훈련된 주치의 네트워크, 미세조정된 임상 전문의 네트워크, 그리고 경량의 의예생 네트워크를 활용하는 새로운 3단계 지식 전이 및 정련 프레임워크를 사용하여 정확하고 개인정보 보호가 보장되며 효율적인 디바이스 내 분류 및 추적을 가능하게 하였으며, 모바일 기기에서 영상학적 악화 예측에 대해 0.883의 AUROC를 달성하였다.

ABSTRACT

During the COVID-19 pandemic, there has been an emerging need for rapid, dedicated, and point-of-care COVID-19 patient disposition techniques to optimize resource utilization and clinical workflow. In view of this need, we present COVID-MobileXpert: a lightweight deep neural network (DNN) based mobile app that can use chest X-ray (CXR) for COVID-19 case screening and radiological trajectory prediction. We design and implement a novel three-player knowledge transfer and distillation (KTD) framework including a pre-trained attending physician (AP) network that extracts CXR imaging features from a large scale of lung disease CXR images, a fine-tuned resident fellow (RF) network that learns the essential CXR imaging features to discriminate COVID-19 from pneumonia and/or normal cases with a small amount of COVID-19 cases, and a trained lightweight medical student (MS) network to perform on-device COVID-19 patient triage and follow-up. To tackle the challenge of vastly similar and dominant fore- and background in medical images, we employ novel loss functions and training schemes for the MS network to learn the robust features. We demonstrate the significant potential of COVID-MobileXpert for rapid deployment via extensive experiments with diverse MS architecture and tuning parameter settings. The source codes for cloud and mobile based models are available from the following url: https://github.com/xinli0928/COVID-Xray.

연구 동기 및 목표

• 팬데믹 기간 동안 의료 자원의 효율적 사용을 위해 실시간으로 현장에서 코로나19 환자 분류 및 추적을 위한 급박한 필요성을 해결한다.
• 기존의 디바이스 내 의료 AI 시스템은 일반적으로 기본적인 이미지 뷰잉 기능에 국한되어 있으며 진단 능력이 부족한 점을 극복한다.
• 모바일 기기에서 작동 가능한 경량이며 개인정보 보호가 보장되고 정확한 딥러닝 모델을 개발하여 흉부 X선 영상에서 코로나19를 디바이스 내에서 분류한다.
• 연속적인 흉부 X선 영상을 활용하여 환자의 병변 악화 여부를 조기에 탐지할 수 있는 종단적 영상학적 경로 예측을 가능하게 한다.
• 제한된 레이블이 부여된 코로나19 데이터를 바탕으로 대규모 사전 훈련된 모델에서 소형 디바이스 네트워크로 지식을 효과적으로 전이하는 지식 정련 프레임워크를 설계한다.

제안 방법

• 세 플레이어 지식 전이 및 정련(KTD) 프레임워크 제안: 대규모 폐질환 흉부 X선 데이터셋으로 사전 훈련된 주치의(AP) 네트워크, 소규모 레이블이 부여된 코로나19, 폐렴, 정상 흉부 X선 영상으로 미세조정된 임상 전문의(RF) 네트워크, 지식 정련을 통해 훈련된 경량 의예생(MS) 네트워크를 포함한다.
• 제한된 코로나19 데이터에서 일반화 능력을 향상시키기 위해 AP에서 RF 네트워크로 지식 전이를 수행하여 특징 표현 능력을 향상시킨다.
• 의료 영상에서 유사한 전경 및 배경 패턴에 대해 강건성을 향상시키기 위해 MS 네트워크에 새로운 손실 함수와 훈련 기법을 적용한다.
• 저지연성과 높은 개인정보 보호를 확보하기 위해 PyTorch Mobile 프레임워크를 사용하여 훈련된 MS 네트워크를 모바일 기기로 배포하여 디바이스 내 추론을 수행한다.
• 다양한 MS 아키텍처(예: MobileNetV2, SqueezeNet)를 비교하여 분류 및 경로 예측 작업에서 AUROC 및 정확도 지표를 사용해 모델 성능을 평가한다.
• 6대의 안드로이드 기기에서 체계적인 자원 소비 분석을 수행하여 CPU, 메모리, 에너지 사용량을 평가하고 기기별 최적의 배포 권장 사항을 도출한다.

실험 결과

연구 질문

• RQ1 제한된 자원을 가진 모바일 기기에서 작동하는 경량 디바이스 내 딥러닝 모델이 개인정보 보호를 유지하면서도 흉부 X선 영상에서 코로나19를 높은 정확도로 분류할 수 있는가?
• RQ2 제한된 레이블이 부여된 데이터를 바탕으로 대규모 사전 훈련된 모델에서 소형 디바이스 네트워크로 지식을 효과적으로 전이하는 세 플레이어 지식 정련 프레임워크의 효과는 어떠한가?
• RQ3 단일 영상 특징에 비해 연속적인 흉부 X선 영상 특징이 영상학적 경로 예측에 얼마나 향상된 성능을 제공하는가?
• RQ4 다양한 모바일 하드웨어 플랫폼에서 모델 정확도와 자원 소비(CPU, 메모리, 에너지) 간의 상호 교환 관계는 어떠한가?
• RQ5 새로운 손실 함수는 의료 영상에서 코로나19와 폐렴 간의 미세한 차이를 구분하는 데 있어 지식 정련의 강건성을 얼마나 향상시키는가?

주요 결과

• 제안된 세 플레이어 KTD 프레임워크는 제한된 레이블이 부여된 코로나19 데이터 조건에서도 대규모 사전 훈련된 네트워크의 지식 전이를 활용하여 경량 디바이스 내 모델의 성능을 크게 향상시켰다.
• MobileNetV2 기반 MS 네트워크는 종단적 영상학적 악화 예측에서 AUROC 0.883을 달성하여 연속적인 CXR 영상을 활용한 디바이스 내 추적에 매우 유망한 잠재력을 보였다.
• SqueezeNet 기반 MS 네트워크는 약간 낮은 정확도를 보였지만 더 낮은 자원 소비를 기록하여 저성능 모바일 기기에서 더 적합하다.
• 기기 간 자원 소비는 하드웨어 발전에 따라 감소하는 경향을 보였으며, 이는 최신 모바일 기기에서 고정확도 모델을 효율적으로 실행할 수 있음을 시사한다.
• 새로운 손실 함수의 적용은 지식 정련의 강건성을 향상시켜, CXR 영상에서 유사한 전경 및 배경 패턴이 존재하는 상황에서도 MS 네트워크가 더 잘 구분 가능한 특징을 학습할 수 있도록 했다.
• 균형 잡힌 데이터셋에서 기준(dummy) 분류기(AUROC 0.600)에 비해 성능이 뛰어나, 종단적 CXR 영상의 특징 병합이 단일 영상 기반 접근보다 경로 예측 성능을 향상시킨다는 점을 입증하였다.