[논문 리뷰] IATos: AI-powered pre-screening tool for COVID-19 from cough audio samples

D. Trejo Pizzo, S. Esteban|arXiv (Cornell University)|2021. 04. 27.

COVID-19 diagnosis using AIMedicine인용 수 18

한 줄 요약

IATos는 AI 기반의 사전 선별 도구로, 깊이 있는 신경망을 사용하여 코로나19 감염 여부를 분류하기 위해 기침 음성 샘플을 분석한다. RT-PCR를 황금 표준으로 삼아 86%의 정확도로 양성 및 음성 사례를 구분한다. 이 시스템은 부에노스 아이레스에서 확보한 대규모 음성 데이터를 활용하여, 임상 검사의 보완으로써 확산 가능하고 저비용이며 비침습적인 인구 수준의 선별을 가능하게 한다.

ABSTRACT

OBJECTIVE: Our objective is to evaluate the possibility of using cough audio recordings (spontaneous or simulated) to detect sound patterns in people who are diagnosed with COVID-19. The research question that led our work was: what is the sensitivity and specificity of a machine learning based COVID-19 cough classifier, using RT-PCR tests as gold standard? SETTING: The audio samples that were collected for this study belong to individuals who were swabbed in the City of Buenos Aires in 20 public and 1 private facilities where RT-PCR studies were carried out on patients suspected of COVID, and 14 out-of-hospital isolation units for patients with confirmed COVID mild cases. The audios were collected through the Buenos Aires city government WhatsApp chatbot that was specifically designed to address citizen inquiries related to the coronavirus pandemic (COVID-19). PARTICIPANTS: The data collected corresponds to 2821 individuals who were swabbed in the City of Buenos Aires, between August 11 and December 2, 2020. Individuals were divided into 1409 that tested positive for COVID-19 and 1412 that tested negative. From this sample group, 52.6% of the individuals were female and 47.4% were male. 2.5% were between the age of 0 and 20 , 61.1% between the age of 21 and 40 , 30.3% between the age of 41 and 60 and 6.1% were over 61 years of age. RESULTS: Using the dataset of 2821 individuals our results showed that the neural network classifier was able to discriminate between the COVID-19 positive and the healthy coughs with an accuracy of 86%. This accuracy obtained during the training process was later tested and confirmed with a second dataset corresponding to 492 individuals.

연구 동기 및 목표

• 기침 음성 기록을 활용한 기계학습 기반 기침 분류기의 민감도와 특이도를 평가하는 것.
• 의료 체계의 부담을 줄이고 노출 위험을 최소화하기 위해 확장 가능하고 저비용인 디지털 사전 선별 도구를 개발하는 것.
• 부에노스 아이레스의 공공 검사 시설에서 확보한 실제 RT-PCR 확인 사례를 활용해 AI 모델의 성능을 검증하는 것.
• 도시 환경에서 대규모 인구 선별을 위해 이러한 도구의 구현 가능성을 탐색하는 것.
• 글로벌 대응 기술 혁신을 지원하기 위해 오픈소스 방법론과 데이터를 기여하는 것.

제안 방법

• 이 연구는 패an드레미크 시기 동안 도시 전역의 WhatsApp 챗봇을 통해 수집한 기침 음성 샘플을 기반으로 훈련된 심층 신경망 분류기를 활용한다.
• 음성 기록은 RT-PCR 검사 결과에 따라 양성 또는 음성으로 분류되어 모델 훈련 및 평가의 기준이 되는 진실값을 형성한다.
• 모델은 처음에 2,821명(양성 1,409명, 음성 1,412명)의 데이터셋으로 훈련된 후, 더 강력한 성능을 확보하기 위해 더 큰 데이터셋(143,351명, 양성 18,271명, 음성 125,080명)으로 재훈련되었다.
• 시스템은 자발적 또는 강제적인 기침에서 유도된 신호 처리 기법을 사용하여, 감염과 관련된 호흡 음성 패턴에 초점을 맞춘 특징을 추출한다.
• 일반화 능력을 확보하기 위해 모델 성능은 492명의 별도 테스트 세트를 사용하여 검증되었다.
• 최종 모델는 음성 사례를 탐지하는 데 높은 특이도를 확보하기 위해 최적화되었으며, 음성 샘플 비율이 높은 불균형 데이터(전체의 90%)를 고려한 결과이다.

실험 결과

연구 질문

• RQ1 RT-PCR를 황금 표준으로 삼을 때, 기계학습 기반 기침 분류기의 민감도와 특이도는 얼마인가?
• RQ2 다양한 도시 인구에서 수집한 기침 음성 기록은 SARS-CoV-2 감염 여부가 있는지 없는지를 신뢰성 있게 구분할 수 있는가?
• RQ3 코로나19 유행 기간 동안 수집된 대규모 실생활 데이터셋으로 훈련했을 때 모델 성능은 어떻게 확장되는가?
• RQ4 사전 선별을 통해 기존 검사 인프라의 부담을 얼마나 줄일 수 있는가?
• RQ5 이러한 도구는 공중보건 분야에서 확장 가능하고 저비용이며 안전한 디지털 전선 분류 도구로 효과적으로 구현될 수 있는가?

주요 결과

• 신경망 분류기는 初기 데이터셋(2,821명)에서 기침 음성의 양성 및 음성 여부를 88%의 정확도로 분류했다.
• 독립된 검증 세트(492명)에서 테스트한 결과, 모델은 높은 성능을 유지하여 신뢰성을 확인했다.
• 143,351명의 더 큰 데이터셋으로 재훈련한 후, 모델은 86%의 정확도를 달성하여 확장성과 강건성을 입증했다.
• 두 번째 데이터셋에서 음성 사례를 더 잘 식별하는 데 성능이 향상된 것으로 보이며, 이는 음성 샘플 비율이 90%로 높기 때문이다.
• 시스템은 대규모 배포 잠재력을 보였으며, 최소한의 인프라로 매일 수천 건의 기침 샘플을 처리할 수 있는 사전 선별 도구로 기능할 수 있었다.
• 이 연구는 기침 음성 분석이 팬데믹 관리에서 실현 가능하고 비침습적이며 저비용인 RT-PCR 검사의 보완으로 기능할 수 있음을 확인했다.