[논문 리뷰] The Second DiCOVA Challenge: Dataset and performance analysis for COVID-19 diagnosis using acoustics

Neeraj Kumar Sharma, Srikanth Raj Chetupalli외 4명|arXiv (Cornell University)|2021. 10. 04.

COVID-19 diagnosis using AI인용 수 10

한 줄 요약

이 논문은 기침, 숨결, 말하기 음성 신호를 이용한 코로나19 진단을 위한 대규모 개방형 벤치마크인 제2회 DiCOVA 챌린지를 제시한다. 1,436명의 개인으로 구성된 정제된 데이터셋을 제공하고, 멜스펙트로그램과 BiLSTM 네트워크를 사용한 베이스라인 모델을 수립하며, 융합 모델이 88.4% AUC를 기록하여 음성 기반의 현장 진단의 가능성을 입증한다.

ABSTRACT

The Second Diagnosis of COVID-19 using Acoustics (DiCOVA) Challenge aimed at accelerating the research in acoustics based detection of COVID-19, a topic at the intersection of acoustics, signal processing, machine learning, and healthcare. This paper presents the details of the challenge, which was an open call for researchers to analyze a dataset of audio recordings consisting of breathing, cough and speech signals. This data was collected from individuals with and without COVID-19 infection, and the task in the challenge was a two-class classification. The development set audio recordings were collected from 965 (172 COVID-19 positive) individuals, while the evaluation set contained data from 471 individuals (71 COVID-19 positive). The challenge featured four tracks, one associated with each sound category of cough, speech and breathing, and a fourth fusion track. A baseline system was also released to benchmark the participants. In this paper, we present an overview of the challenge, the rationale for the data collection and the baseline system. Further, a performance analysis for the systems submitted by the $16$ participating teams in the leaderboard is also presented.

연구 동기 및 목표

• 신호 처리와 기계 학습을 활용한 음성 기반 코로나19 감염 검출 연구를 가속화하기 위해.
• 기존의 RT-PCR 및 항원 검사의 한계를 보완하기 위해 저비용이며 확장 가능한 현장 진단 대안을 개발하기 위해.
• 기침, 숨결, 말하기 등 다양한 음성 유형에 걸쳐 표준화된 벤치마크를 구축하기 위해 정제된 데이터셋과 공통 평가 프로토콜을 제공하기 위해.
• 맹글리드 테스트 세트를 활용한 랭킹 기반 챌린지 방식을 통해 다양한 기계 학습 모델의 성능을 평가하고 비교하기 위해.
• 데이터, 베이스라인 시스템, 공개 랭킹을 배포하여 재현 가능성과 협업을 촉진하기 위해.

제안 방법

• 개발 세트(172명 코로나19 양성)에서 965명, 평가 세트(71명 양성)에서 471명의 개인으로부터 기침, 숨결, 말하기 샘플을 포함한 오디오 데이터를 수집하였다.
• 192×T 특징 행렬(T=51)을 사용한 멜스펙트로그램 추출을 통해 오디오를 전처리하였으며, 10프레임 스탑을 적용하여 청크로 분할하였다.
• 이진 교차 엔트로피 손실, Adam 옵timizer(초기 학습률 0.0001), L2 정규화(0.0001), 드롭아웃(0.1)을 사용한 BiLSTM 기반 분류기 모델을 훈련시켰다.
• 소수 클래스(코로나19)의 오버샘플링을 통해 미니배치 샘플링 중 클래스 불균형을 완화하였다.
• 세 가지 음성 유형 모델의 예측을 주제 수준의 확률 점수 평균을 통해 융합하여 종합적인 진단 성능을 향상시켰다.
• 모델 훈련 및 추론을 위해 5폴드 교차검증을 사용하였으며, 최종 테스트 예측은 다수의 폴드에서 평균화하여 안정성을 확보하였다.

실험 결과

연구 질문

• RQ1 기침, 숨결, 말하기 신호에서 유도된 음성 특징이 높은 민감도와 특이도로 코로나19 감염을 신뢰성 있게 탐지할 수 있는가?
• RQ2 다양한 기계 학습 아키텍처와 특징 표현 방식은 음성 신호로부터 코로나19 상태를 분류하는 데 어떻게 비교되는가?
• RQ3 다양한 음성 유형 간의 예측 융합은 단일 모odal 모델 대비 진단 성능을 얼마나 향상시키는가?
• RQ4 공개된 동일한 데이터셋에서 최신 기술 모델의 성능은 표준 베이스라인 시스템과 비교해 어떻게 나타나는가?
• RQ5 코로나19의 주요 음성 서명은 무엇이며, 다양한 인구 집단에서 일관되게 탐지될 수 있는가?

주요 결과

• 베이스라인 시스템은 숨결에 대해 77.3% AUC, 기침에 대해 75.2%, 말하기에 대해 80.2%를 기록하였으며, 융합 모델은 81.67% AUC를 달성하였다.
• 최고 성능 팀은 숨결 트랙에서 87.2% AUC, 기침에서 82.0%, 말하기에서 85.2%, 융합 트랙에서 88.4% AUC를 기록하였다.
• 상위 3개 팀의 예측을 융합한 가상의 풀링 시스템은 성능을 향상시켜 숨결에서 88.8% AUC, 기침에서 84.5%, 말하기에서 86.7%, 융합에서 90.4% AUC를 기록하였다.
• 10개 팀이 기침 트랙에서 베이스라인을 초월하였으며, 숨결, 말하기, 융합 트랙에서는 각각 4개, 3개, 5개 팀이 베이스라인을 뛰어넘었다.
• 최고 성능 팀(T-15)은 wav2vec2.0 임베딩과 교차 유형 모델 파라미터 평균화를 사용한 BiLSTM을 활용하여 전 트랙에서 높은 성능을 기록하였다.
• 최고 성능 팀(T-14)은 RASTA-PLP 특징을 사용한 랜덤 포레스트와 다층 퍼셉트론을 활용하여 숨결 및 기침 트랙에서 뛰어난 성능을 보였다.