[논문 리뷰] COVID-19 Patient Detection from Telephone Quality Speech Data

Kotra Venkata Sai Ritwik, Shareef Babu Kalluri외 1명|arXiv (Cornell University)|2020. 11. 09.

COVID-19 diagnosis using AI참고 문헌 15인용 수 29

한 줄 요약

이 연구는 전화 품질 음성에서 음소 수준의 멜스펙트럼 포스터리어로부터 유도된 슈퍼벡터 특징을 사용하여 COVID-19를 탐지하는 기계학습 시스템을 제안한다. 소규모 유튜브 기반 데이터셋으로 훈련된 SVM 분류기는 88.6% 정확도와 92.7% F1 점수를 기록했으며, 나이랄, 정음, 중간 장음이 가장 구분 능력이 높은 음소 클래스로 나타났다.

ABSTRACT

In this paper, we try to investigate the presence of cues about the COVID-19 disease in the speech data. We use an approach that is similar to speaker recognition. Each sentence is represented as super vectors of short term Mel filter bank features for each phoneme. These features are used to learn a two-class classifier to separate the COVID-19 speech from normal. Experiments on a small dataset collected from YouTube videos show that an SVM classifier on this dataset is able to achieve an accuracy of 88.6% and an F1-Score of 92.7%. Further investigation reveals that some phone classes, such as nasals, stops, and mid vowels can distinguish the two classes better than the others.

연구 동기 및 목표

• 전화 통화에서의 음성 신호만을 사용하여 원격으로 비침습적인 COVID-19 선별 방법을 개발한다.
• COVID-19의 호흡기 영향으로 인한 미세한 음성 변화가 저품질 음성에서 계산적으로 탐지될 수 있는지 조사한다.
• 공개된 유튜브 녹화 자료에서 COVID-19 양성 및 음성 환자 데이터셋을 구축한다.
• 음성에서의 문장 수준 특징을 사용하여 COVID-19 상태를 식별하는 기계학습 모델의 성능을 평가한다.
• COVID-19 탐지에 있어 가장 구분 능력이 높은 음소 클래스를 특정한다.

제안 방법

• 전화 품질 음성 신호에서 단기 멜스펙트럼 특징을 추출한다.
• 미리 훈련된 ASpIRE 체인 모델(시간적 디피너이드 신경망)을 사용하여 멜스펙트럼 입력에서 프레임 수준의 음소 포스터리어 확률을 추정한다.
• 각 음소별로 포스터리어 확률의 정규화된 1차 통계를 계산하여 문장 수준의 슈퍼벡터를 구성한다.
• 모든 음소에 걸쳐 슈퍼벡터를 연결하여 각 문장에 대한 단일 고차원 특징 벡터를 형성한다.
• 슈퍼벡터 특징을 기반으로 SVM 분류기를 훈련하여 COVID-19 양성 및 음성 음성을 구분한다.
• 교차 검증 및 독립 테스트 세트를 사용하여 성능을 평가하고, 개별 음소 클래스에 대한 분석을 실시한다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 기침이나 호흡 패턴에 의존하지 않고 저품질 전화 음성에서 COVID-19를 탐지할 수 있는가?
• RQ2 어느 음소 클래스가 COVID-19 양성 및 음성 환자를 가장 잘 분류하는 데 가장 강력한 구분 능력을 보이는가?
• RQ3 모델의 성능이 교차 검증에서 독립 테스트 세트로 일반화되는가?
• RQ4 모든 음소를 사용하는 것과 비교해 특정 음소 하위 클래스에 집중하는 것이 탐지 성능을 향상시킬 수 있는가?
• RQ5 COVID-19 탐지 맥락에서 민감도와 특이도가 다양한 음소 클래스 간에 어떻게 달라지는가?

주요 결과

• SVM 분류기는 7명의 화자에서 온 201개 문장으로 구성된 독립 테스트 세트에서 88.6% 정확도와 92.7% F1 점수를 기록했다.
• 나이랄, 정음, 중간 장음이 가장 높은 성능을 보였으며, 교차 검증에서 각각 84.06%, 80.23%, 73.91%의 F1 점수를 기록했다.
• 개별 음소 클래스에서 테스트한 결과, 나이랄은 91.8% 정확도, 정음은 90.1%, 중간 장음은 91.1% 정확도를 기록했으며, 해당 F1 점수는 각각 92.6%, 92.7%, 93.1%였다.
• 테스트 세트에서 전체 데이터셋에 대한 민감도와 특이도는 각각 0.93과 0.73였으며, 이는 양성 클래스에 대한 뛰어난 성능을 나타냈다.
• 상위 3개 음소 클래스(나이랄, 정음, 중간 장음)의 ROC 곡선은 전체 음소 집합보다 개선된 AUC를 보였으며, 이는 그들의 강력한 구분 능력을 확인했다.
• 테스트 세트의 약 40%만이 상위 3개 음소 클래스를 포함하고 있었음에도 불구하고 여전히 뛰어난 성능를 기록했으며, 이는 제한된 커버리지에도 불구하고 뛰어난 강건성을 보여주었다.