[논문 리뷰] Using Deep Learning with Large Aggregated Datasets for COVID-19 Classification from Cough

Esin Darici Haritaoglu, Nicholas Rasmussen외 13명|arXiv (Cornell University)|2022. 01. 05.

COVID-19 diagnosis using AI인용 수 10

한 줄 요약

이 연구는 PCR 검사로 확인된 임상적 기침과 커뮤니티 기반으로 수집된 기록을 융합한 대규모 집계 데이터셋을 활용하여 코로나19 분류를 위한 딥러닝 접근법을 제안한다. 자기지도 학습 모델을 사용할 경우 AUC가 0.807에 도달하였고, CNN 모델을 사용할 경우 0.802를 기록하여 더 큰 데이터셋을 활용할수록 성능 향상이 이루어지고 있음을 입증하였다. 이는 편향을 줄이고 일반화 능력을 높이기 위해 더 넓고 고품질의 데이터 수집이 필요하다는 점을 시사한다.

ABSTRACT

The Covid-19 pandemic has been one of the most devastating events in recent history, claiming the lives of more than 5 million people worldwide. Even with the worldwide distribution of vaccines, there is an apparent need for affordable, reliable, and accessible screening techniques to serve parts of the World that do not have access to Western medicine. Artificial Intelligence can provide a solution utilizing cough sounds as a primary screening mode for COVID-19 diagnosis. This paper presents multiple models that have achieved relatively respectable performance on the largest evaluation dataset currently presented in academic literature. Through investigation of a self-supervised learning model (Area under the ROC curve, AUC = 0.807) and a convolutional nerual network (CNN) model (AUC = 0.802), we observe the possibility of model bias with limited datasets. Moreover, we observe that performance increases with training data size, showing the need for the worldwide collection of data to help combat the Covid-19 pandemic with non-traditional means.

연구 동기 및 목표

• 저소득 및 중소득 국가에서 의료 접근성이 제한된 환경에서도 신뢰성 있고 접근성 있으며 저비용인 AI 기반의 코로나19 스크리닝 방법을 기침 소리 기반으로 개발하기 위해.
• 이전 연구에서 흔히 나타나는 모델 편향과 일반화 문제를 해결하기 위해 다양한 출처에서 수집한 고품질의 기침 데이터셋을 융합함으로써.
• 대규모 PCR 검사로 확인된 기침 데이터셋을 기반으로 자기지도 학습과 합성곱 신경망의 성능을 평가하여 진단 잠재력을 규명하기 위해.
• 학습 데이터 크기의 증가가 모델 성능에 어떤 영향을 미치는지 조사하여, 지속적인 글로벌 데이터 수집이 모델의 강건성 향상에 기여할 수 있음을 강조하기 위해.

제안 방법

• 연구는 PCR 검사로 확인된 임상적 기침(Verufy-India, IATOS)과 커뮤니티 기반 기록(CoughVID, Coswara)을 융합한 대규모 집계 데이터셋을 사용하여 모델의 학습 및 평가를 수행한다.
• 자기지도 학습(SSL) 모델은 레이블이 있는 기침 데이터와 없는 데이터를 모두 활용하여 수동 레이블링이 거의 필요 없이 강력한 표현을 학습한다.
• 합성곱 신경망(CNN)은 레이블이 있는 기침 샘플만을 사용하여 완전히 지도 학습 방식으로 학습되어 SSL 접근법과의 성능를 비교한다.
• 모델 성능 평가에는 receiver operating characteristic 곡선 아래 면적(AUC)을 사용하며, 민감도, 특이도 및 다양한 데이터 출처 간 일반화 능력에 대한 추가 분석도 수행한다.
• 연구진은 저품질 오디오를 줄이기 위해 고유의 기침 스크리닝 도구를 적용하여 학습 및 평가 데이터셋의 노이즈 관련 편향을 감소시켰다.
• 하이퍼파rameter 튜닝, 데이터 증강 및 임계값 최적화를 통해 성능 향상을 위한 잠재적 전략을 탐색하였다.

실험 결과

연구 질문

• RQ1 자기지도 학습과 CNN 모델이 대규모이고 다양한 데이터셋을 기반으로 기침 소리에서 코로나19를 분류하는 데 있어 높은 진단 성능를 달성할 수 있는가?
• RQ2 학습 데이터 크기가 증가함에 따라 모델 성능가 어떻게 변화하는가? 이는 더 큰 데이터셋이 편향을 줄이고 일반화 능력을 향상시킨다는 가정을 지지하는가?
• RQ3 데이터 출처와 데이터 품질(예: PCR 검사 확인 여부)이 모델 성능와 신뢰성에 어느 정도 영향을 미치는가?
• RQ4 기침 기반 코로나19 분류의 맥락에서 딥러닝 모델의 성능 지표는 기존의 기계학습 모델(SVM 등)과 비교해 볼 때 어떻게 다른가?
• RQ5 데이터 품질과 전처리, 특히 노이즈 필터링이 알고리즘 편향을 최소화하고 실생활 적용 가능성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 자기지도 학습 모델은 AUC 0.807을 기록하였고, CNN 모델은 AUC 0.802를 달성하여 대규모이고 다양한 평가 데이터셋에서 뛰어난 성능를 보였다.
• 학습 데이터 크기가 증가함에 따라 성능 향상이 관찰되어 데이터 양과 모델 정확도 사이에 정적 상관관계가 있음을 시사하며, 지속적인 데이터 수집이 필요하다는 점을 뒷받침한다.
• SSL 모델은 약간 더 높은 민감도를 보였고, CNN 모델보다 AUC에서 0.016의 우수성을 보였지만, 이는 미미한 차이였으며 양쪽 모두 실용적 배포 가능성은 높다고 판단된다.
• 연구에서는 레이블이 확인되지 않은 커뮤니티 기반 기록(전체 레이블 데이터셋의 72.6%)이 잠재적인 레이블 오류를 유발할 수 있으며, 이는 실생활 성능과 일반화 능력에 영향을 줄 수 있음을 발견하였다.
• 제한된 데이터셋을 사용할 경우 모델 편향이 관찰되었으며, 이는 인구 통계학적 요소나 녹음 조건과 관련된 편향을 줄이기 위해 다양한 고품질 데이터 수집이 중요하다는 점을 강조한다.
• 다양한 데이터 출처의 통합은 노이즈 특화 편향을 완화시키는 데 기여하였고, 고유의 기침 스크리닝 도구의 사용은 데이터 품질 향상에 기여하여 더 신뢰할 수 있는 모델 결과를 이끌어냈다.