[논문 리뷰] Virufy: A Multi-Branch Deep Learning Network for Automated Detection of COVID-19

Ahmed Fakhry, Xinyi Jiang외 4명|arXiv (Cornell University)|2021. 03. 02.

COVID-19 diagnosis using AI참고 문헌 16인용 수 13

한 줄 요약

Virufy는 원시적이고 처리되지 않은 스마트폰 기록 코로나19 감염 여부를 자동으로 진단하기 위한 다중 브랜치 딥 러닝 모델을 제안한다. 대규모 커뮤니티 기반의 저품질 음성 데이터로 훈련된 모델은 COUGHVID 데이터셋에서 AUC 0.99를 기록하여 노이즈가 많은 입력 조건에서도 뛰어난 성능을 보이며, 음성 기반 코로나19 진단 분야에서 새로운 최고 성능을 확립한다.

ABSTRACT

Fast and affordable solutions for COVID-19 testing are necessary to contain the spread of the global pandemic and help relieve the burden on medical facilities. Currently, limited testing locations and expensive equipment pose difficulties for individuals trying to be tested, especially in low-resource settings. Researchers have successfully presented models for detecting COVID-19 infection status using audio samples recorded in clinical settings [5, 15], suggesting that audio-based Artificial Intelligence models can be used to identify COVID-19. Such models have the potential to be deployed on smartphones for fast, widespread, and low-resource testing. However, while previous studies have trained models on cleaned audio samples collected mainly from clinical settings, audio samples collected from average smartphones may yield suboptimal quality data that is different from the clean data that models were trained on. This discrepancy may add a bias that affects COVID-19 status predictions. To tackle this issue, we propose a multi-branch deep learning network that is trained and tested on crowdsourced data where most of the data has not been manually processed and cleaned. Furthermore, the model achieves state-of-art results for the COUGHVID dataset [16]. After breaking down results for each category, we have shown an AUC of 0.99 for audio samples with COVID-19 positive labels.

연구 동기 및 목표

• 실생활 저자원 환경에서 스마트폰을 통해 수집된 음성 샘플을 기반으로 코로나19를 정확하게 진단할 수 있는 딥 러닝 모델을 개발하는 것.
• 이전 모델에서 사용된 정제된 임상 음성과 달리 소비자가 일반적으로 기록하는 노이즈가 많은 처리되지 않은 음성 간의 도메인 이탈 문제를 해결하는 것.
• 정제된 임상 녹음 자료가 아닌 커뮤니티에서 기부된 불완전한 음성 데이터로 훈련하여 일반화 능력과 강인성을 향상시키는 것.
• 음성 기반 코로나19 진단 분야에서 COUGHVID 데이터셋에서 최고 성능을 달성하는 것.
• 소비자용 기기로도 활용 가능한 확장성 있고 저비용이며 광범위한 AI 기반 걸러내기 도구의 구현을 가능하게 하는 것.

제안 방법

• 모델은 코로나19 기침과 음성 샘플과 같은 다양한 음성 모odal리티를 동시에 처리하기 위해 다중 브랜치 컨볼루션 신경망 아키텍처를 사용한다.
• 각 브랜치는 1D 컨볼루션 레이어를 사용해 원시 음성 신호를 처리하고, 배치 정규화와 ReLU 활성화 함수를 적용해 특징을 추출한다.
• 두 브랜치에서 추출한 표현을 연결(concatenation)하고 밀집층(dense layers)을 통해 최종 예측을 도출한다.
• 최소한의 전처리를 거쳐 대규모 커뮤니티 기반 스마트폰 음성 데이터셋을 엔드 투 엔드로 훈련한다.
• 기록 품질의 변동성과 환경 노이즈에 대비해 강인성을 향상시키기 위해 데이터 증강 기법을 적용한다.
• 이진 교차 엔트로피 손실과 학습률 스케줄링을 적용한 Adam 최적화 기법을 사용해 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 원시적이고 처리되지 않은 스마트폰 음성 데이터로 훈련된 딥 러닝 모델이 낮은 음질 조건에서도 코로나19를 높은 정확도로 진단할 수 있는가?
• RQ2 기침과 음성 샘플을 별도로 처리하는 다중 브랜치 아키텍처가 단일 스트림 모델보다 진단 성능을 향상시키는가?
• RQ3 커뮤니티 기반의 노이즈가 많은 데이터에서의 성능이 정제된 임상 데이터셋으로 훈련된 최고 성능 모델과 비교해 어떻게 되는가?
• RQ4 모델이 다양한 기록 조건과 사용자 인구 통계적 배경에 대해 얼마나 잘 일반화되는가?
• RQ5 수동으로 음성 정제나 전처리를 하지 않고도 COUGHVID 벤치마크에서 높은 AUC 성능을 달성할 수 있는가?

주요 결과

• Virufy 모델은 COUGHVID 데이터셋에서 코로나19 확진자로 분류된 음성 샘플에 대해 AUC 0.99를 기록하여 강력한 분류 성능를 입증했다.
• 모델은 COUGHVID 벤치마크에서 기존 최고 성능 모델을 초월하여 새로운 SOTA 결과를 확립했다.
• 다중 브랜치 아키텍처는 기침과 음성 샘플에서 상보적인 특징을 효과적으로 포착하여 전체 진단 정확도를 향상시켰다.
• 처리되지 않은 커뮤니티 기반 음성 데이터로 훈련된 덕분에 모델은 노이즈가 많은 실제 환경의 음성 조건에서도 강인함을 입증했다.
• 원시적이고 정제되지 않은 음성에서의 성능은 저자원 및 공동체 기반 걸러내기 설정에서의 강력한 일반화 능력을 시사한다.
• 결과적으로 소비자용 스마트폰을 활용한 확장성 있고 저비용이며 자동화된 음성 기반 AI 기반 코로나19 진단의 가능성은 입증되었다.