[논문 리뷰] An Approach Towards Physics Informed Lung Ultrasound Image Scoring Neural Network for Diagnostic Assistance in COVID-19

Mahesh Raveendranatha Panicker, Yale Tung‐Chen외 5명|arXiv (Cornell University)|2021. 06. 13.

COVID-19 diagnosis using AI참고 문헌 26인용 수 5

한 줄 요약

이 논문은 음향 전파 기반 특징과 회색조 폐 초음파(LUS) 영상의 융합을 통해 5단계로 나누어 코로나19 폐 감염의 심각도를 분류하는 물리 기반 딥러닝 프레임워크인 LUSNet을 제안한다. 특징 맵에서 무 supervision 방식으로 훈련된 U-Net 기반 아키텍처를 사용하여, 10명의 확진 코로나19 환자로부터 확보한 5,000개의 LUS 프레임에서 교차 검증 시 97%의 정확도, 93%의 민감도, 98%의 특이도를 기록한다.

ABSTRACT

Ultrasound is fast becoming an inevitable diagnostic tool for regular and continuous monitoring of the lung with the recent outbreak of COVID-19. In this work, a novel approach is presented to extract acoustic propagation-based features to automatically highlight the region below pleura, which is an important landmark in lung ultrasound (LUS). Subsequently, a multichannel input formed by using the acoustic physics-based feature maps is fused to train a neural network, referred to as LUSNet, to classify the LUS images into five classes of varying severity of lung infection to track the progression of COVID-19. In order to ensure that the proposed approach is agnostic to the type of acquisition, the LUSNet, which consists of a U-net architecture is trained in an unsupervised manner with the acoustic feature maps to ensure that the encoder-decoder architecture is learning features in the pleural region of interest. A novel combination of the U-net output and the U-net encoder output is employed for the classification of severity of infection in the lung. A detailed analysis of the proposed approach on LUS images over the infection to full recovery period of ten confirmed COVID-19 subjects shows an average five-fold cross-validation accuracy, sensitivity, and specificity of 97%, 93%, and 98% respectively over 5000 frames of COVID-19 videos. The analysis also shows that, when the input dataset is limited and diverse as in the case of COVID-19 pandemic, an aided effort of combining acoustic propagation-based features along with the gray scale images, as proposed in this work, improves the performance of the neural network significantly and also aids the labelling and triaging process.

연구 동기 및 목표

• 코로나19 환자에서 폐 초음파(LUS) 영상의 자동 평가를 위한 강건하고 물리 기반의 신경망 개발
• 음향 전파 기반 특징을 표준 회색조 LUS 영상과 융합하여 자료가 적은 환경에서 진단 성능 향상
• U-Net 인코더-디코더 아키텍처를 사용해 흉막 부위에서의 무 supervision 특징 학습 구현
• 폐 감염의 5단계 심각도로 LUS 영상을 분류하여 임상적 트리iage 및 질환 진행 추적 지원
• 물리 기반 특징 맵을 활용하여 다양한 획득 장치 및 프로토콜 간의 모델 일반화 보장

제안 방법

• 흉막 부위, 주요 해부학적 랜드마크를 강조하기 위해 LUS 영상에서 음향 전파 기반 특징 추출
• 회색조 LUS 영상과 물리 기반 특징 맵을 융합하여 다중 채널 입력 구성, 입력 표현의 풍부함 향상
• 음향 특징 맵을 사용하여 흉막 부위 특징을 학습하기 위해 음향 특징 맵에서 무 supervision 방식으로 U-Net 기반 신경망(LUSNet) 훈련
• U-Net 인코더와 디코더 출력을 융합하여 분류를 위한 종합적 특징 표현 생성
• 융합된 특징 표현을 사용하여 LUS 영상을 폐 감염의 5단계 심각도로 분류
• 10명의 확진 코로나19 환자에서 감염에서 회복 기간 동안 확보한 5,000개의 LUS 프레임에 대해 5중 교차 검증 적용

실험 결과

연구 질문

• RQ1 물리 기반 음향 전파 특징은 자료가 적은 코로나19 LUS 분류에서 딥러닝 모델의 성능을 향상시킬 수 있는가?
• RQ2 음향 특징 맵에서의 무 supervision U-Net 훈련 전략은 흉막 부위 이상을 식별하는 데 얼마나 효과적인가?
• RQ3 회색조 영상과 물리 기반 특징을 융합함으로써 다양한 LUS 획득 설정에서 분류 정확도와 강건성은 얼마나 향상되는가?
• RQ4 제안된 방법은 레이블이 제한된 임상 환경에서 신뢰할 수 있는 트리iage 및 질환 진행 추적을 지원할 수 있는가?
• RQ5 실제로 다양한 LUS 영상 데이터에서 폐 감염 심각도 수준에 따라 모델 성능은 어떻게 비교되는가?

주요 결과

• 제안된 LUSNet은 10명의 확진 코로나19 환자로부터 확보한 5,000개의 LUS 프레임에서 5중 교차 검증 정확도 97%를 기록했다.
• 민감도 93%와 특이도 98%를 기록하여 감염된 폐 부위를 강력하게 탐지함을 시사한다.
• 물리 기반 음향 특징과 회색조 영상의 융합은 회색조 영상 전용 기준 모델 대비 모델 성능을 크게 향상시켰다.
• 음향 특징 맵에서의 무 supervision 사전 훈련을 통해 레이블이 제한된 환경에서도 효과적인 특징 학습이 가능했다.
• 물리 기반 특징 추출 덕분에 다양한 LUS 획득 장치 및 프로토콜에 대한 모델의 강건성이 확보되었다.
• U-Net 인코더와 디코더 출력의 융합은 국소적 및 맥락적 특징을 모두 캡처함으로써 분류 성능 향상에 기여했다.