[논문 리뷰] Semi-Supervised Active Learning for COVID-19 Lung Ultrasound Multi-symptom Classification

Lei Liu, Wentao Lei외 4명|arXiv (Cornell University)|2020. 09. 09.

COVID-19 diagnosis using AI참고 문헌 27인용 수 4

한 줄 요약

이 논문은 라벨 상관관계를 다중라벨 마진 전략과 신뢰도 검증을 통해 활용하여 애너테이션 비용을 줄이고, 다중증상 분류를 위한 반감독형 이중스트림 주도 학습(TSAL) 프레임워크를 제안한다. 이 방법은 전체 학습 데이터의 14.7%만을 사용하여 최신 기술 수준(SOTA) 성능을 달성하였으며, 71명의 환자로부터 6,836장의 영상을 포함하는 새로운 대규모 데이터셋(COVID19-LUSMS)에서 검증되었다.

ABSTRACT

Ultrasound (US) is a non-invasive yet effective medical diagnostic imaging technique for the COVID-19 global pandemic. However, due to complex feature behaviors and expensive annotations of US images, it is difficult to apply Artificial Intelligence (AI) assisting approaches for lung's multi-symptom (multi-label) classification. To overcome these difficulties, we propose a novel semi-supervised Two-Stream Active Learning (TSAL) method to model complicated features and reduce labeling costs in an iterative procedure. The core component of TSAL is the multi-label learning mechanism, in which label correlations information is used to design multi-label margin (MLM) strategy and confidence validation for automatically selecting informative samples and confident labels. On this basis, a multi-symptom multi-label (MSML) classification network is proposed to learn discriminative features of lung symptoms, and a human-machine interaction is exploited to confirm the final annotations that are used to fine-tune MSML with progressively labeled data. Moreover, a novel lung US dataset named COVID19-LUSMS is built, currently containing 71 clinical patients with 6,836 images sampled from 678 videos. Experimental evaluations show that TSAL using only 20% data can achieve superior performance to the baseline and the state-of-the-art. Qualitatively, visualization of both attention map and sample distribution confirms the good consistency with the clinic knowledge.

연구 동기 및 목표

• 임상 환경에서 다중 코로나19 증상에 대한 폐 초음파 영상 애너테이션의 높은 비용과 복잡성 문제를 해결하기 위해.
• 주도 학습과 반감독 학습을 활용하여 다중증상, 다중라벨 분류의 폐 초음파 영상에서의 라벨링 노력 감소를 위해.
• 라벨 상관관계를 활용하여 저자료 환경에서 샘플 선별 및 가짜라벨 신뢰도 향상을 위한 모델 개발을 위해.
• 코로나19 증상 분류를 위한 새로운 대규모, 다중라벨 애너테이션된 폐 초음파 영상 데이터셋(COVID19-LUSMS)을 구축하고 공개하기 위해.
• 가시화된 주목적 맵을 통해 모델 예측이 임상 전문 지식과 일치하는지 검증하기 위해.

제안 방법

• 정보성 영상을 선별하는 샘플 스트림과 신뢰도 높은 가짜라벨를 할당하는 라벨 스트림을 갖춘 이중스트림 주도 학습(TSAL) 프레임워크를 제안한다.
• 라벨 상관관계를 활용하여 높은 불확실성과 높은 정보량 기여도를 가진 샘플을 우선순위로 정렬하는 다중라벨 마진(MLM) 전략을 적용한다.
• 신뢰도 검증 메커니즘을 도입하여 신뢰할 수 있는 가짜라벨를 필터링하고 할당함으로써 인간 애너테이션에 대한 의존도를 감소시킨다.
• 다중증상 다중라벨(MSML) 분류 네트워크를 사용하여 다중 증상에서의 폐 초음파 영상로부터 특징을 구분적으로 학습한다.
• 최종 애너테이션을 확인하기 위한 인간-기계 상호작용(HMI)을 통합하여 최소한의 인간 라벨링으로 반복적인 모델 정밀조정을 가능하게 한다.
• 가시성 확보를 위해 Grad-CAM을 활용하여 주목적 맵을 시각화하고 임상 진단 지식과의 일치성을 검증한다.

실험 결과

연구 질문

• RQ1 반감독형 주도 학습 프레임워크는 성능을 저하시키지 않고 다중증상 폐 초음파 영상 분류에서 라벨링 비용을 줄일 수 있는가?
• RQ2 다중라벨 마진(MLM) 전략을 통한 라벨 상관관계 모델링은 주도 학습에서 정보성 샘플 선별에 얼마나 효과적인가?
• RQ3 가짜라벨의 신뢰도 검증은 주도 학습 루프에서 인간 라벨링 노력 감소에 얼마나 기여하는가?
• RQ4 제안된 TSAL 프레임워크는 전체 라벨 데이터의 20% 미만으로도 전면 supervision 기반 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 학습된 모델의 주목적 맵은 폐 초음파 영상에서 병적 영역을 식별하는 데 있어 임상 전문 지식과 일치하는가?

주요 결과

• TSAL 프레임워크는 전체 학습 데이터의 14.7%만을 사용하여 기준 모델 및 최신 기술 수준(SOTA) 모델을 능가하는 뛰어난 분류 성능을 달성하였다.
• 다중라벨 마진(MLM) 전략은 모든 주도 학습 반복 과정에서 가장 높은 정확도와 안정성을 확보하였으며, 20번째 반복에서 최고의 성능을 기록하였다.
• B선 및 흉막 출혈에 대한 특이도가 크게 향상되었으며, 81.81%에서 92.49%로 상승하여 클래스 불균형 문제를 효과적으로 다루었다.
• 신뢰도 검증을 적용한 후 첫 번째 반복 이후 인간 라벨링 노력이 거의 제로 수준으로 감소하여 라벨 스트림의 높은 효율성을 입증하였다.
• Grad-CAM 시각화 결과 모델 주목적과 임상 진단 지식 간 강력한 일치성을 확인하였으며, 특히 A선과 B선 특징 식별에 뚜렷한 일치를 보였다.
• 다양한 전략에서 16.6%에서 27.6%의 라벨 데이터만을 사용하여도 제안된 방법이 전면 supervision 기준 모델과 비슷하거나 더 뛰어난 성능을 달성하였다.