[論文レビュー] The Second DiCOVA Challenge: Dataset and performance analysis for COVID-19 diagnosis using acoustics

Neeraj Kumar Sharma, Srikanth Raj Chetupalli+4 more|arXiv (Cornell University)|Oct 4, 2021

COVID-19 diagnosis using AI被引用数 10

ひとこと要約

本論文は、咳、呼吸、発話音声を用いたCOVID-19診断のための大規模オープンベンチマーク「Second DiCOVA Challenge」を提示する。1,436人の被験者から構成される洗練されたデータセットを提供し、メルスペクトログ램とBiLSTMネットワークを用いたベースラインモデルを確立した。融合モデルが88.4% AUCを達成し、音声ベースのポイント・オブ・ケア診断の可能性を示した。

ABSTRACT

The Second Diagnosis of COVID-19 using Acoustics (DiCOVA) Challenge aimed at accelerating the research in acoustics based detection of COVID-19, a topic at the intersection of acoustics, signal processing, machine learning, and healthcare. This paper presents the details of the challenge, which was an open call for researchers to analyze a dataset of audio recordings consisting of breathing, cough and speech signals. This data was collected from individuals with and without COVID-19 infection, and the task in the challenge was a two-class classification. The development set audio recordings were collected from 965 (172 COVID-19 positive) individuals, while the evaluation set contained data from 471 individuals (71 COVID-19 positive). The challenge featured four tracks, one associated with each sound category of cough, speech and breathing, and a fourth fusion track. A baseline system was also released to benchmark the participants. In this paper, we present an overview of the challenge, the rationale for the data collection and the baseline system. Further, a performance analysis for the systems submitted by the $16$ participating teams in the leaderboard is also presented.

研究の動機と目的

• 信号処理および機械学習を用いた音声ベースのCOVID-19検出に関する研究を加速すること。
• 従来のRT-PCRおよび抗原検査の限界を克服し、低コストでスケーラブルなポイント・オブ・ケア診断の代替手段を開発すること。
• 咳、呼吸、発話の複数の音声カテゴリをカバーする、洗練されたデータセットと共有の評価プロトコルを用いた標準化されたベンチマークを確立すること。
• 盲検テストセットを用いたリーダーボード方式のチャレンジを通じて、多様な機械学習モデルの性能を評価・比較すること。
• データ、ベースラインシステム、および公開リーダーボードをリリースすることで、再現可能性と協働を促進すること。

提案手法

• 開発セット（COVID-19陽性者172名）に965名、評価セット（陽性者71名）に471名の被験者から、咳、呼吸、発話の音声データを収集した。
• 192×Tの特徴行列（T=51）を生成するメルスペクトログラム抽出を用い、10フレームのストライドを適用してチャンク化した。
• バイナリクロスエントロピー損失、Adam最適化法（初期値学習率0.0001）、L2正則化（0.0001）、ドロップアウト（0.1）を用いたBiLSTMベースの分類器を訓練した。
• ミニバッチサンプリング時に少数クラス（COVID）をオーバーサンプリングすることで、クラス不均衡を是正した。
• 3つの音声カテゴリ分類器の予測を、被験者レベルの確率スコアの平均化により統合し、全体の診断性能を向上させた。
• モデルの訓練と推論には5分割交差検証を用い、最終的なテスト予測値をフォールド間で平均化して安定性を確保した。

実験結果

リサーチクエスチョン

• RQ1 咳、呼吸、発話音声からの音声特徴は、高い感度と特異度を備えてCOVID-19感染を信頼性高く検出可能か？
• RQ2 音声信号からのCOVID-19状態を分類する際、異なる機械学習アーキテクチャおよび特徴表現は、どのように比較されるか？
• RQ3 複数の音声カテゴリに跨る予測の統合は、単一モodalモデルと比較して、どの程度診断性能を向上させるか？
• RQ4 共通のオープンデータセット上で、最先端のモデルの性能は、標準化されたベースラインシステムと比較してどの程度か？
• RQ5 COVID-19の呼吸音における主要な音声的特徴は何か？また、多様な集団に跨って一貫して検出可能か？

主な発見

• ベースラインシステムは、呼吸で77.3% AUC、咳で75.2% AUC、発話で80.2% AUCを達成し、融合モデルでは81.67% AUCに到達した。
• 最良のチームは、呼吸トラックで87.2% AUC、咳で82.0%、発話で85.2%、融合トラックで88.4% AUCを達成した。
• 上位3チームの予測を統合した仮想のプールドシステムは、性能を向上させ、呼吸で88.8% AUC、咳で84.5%、発話で86.7%、融合で90.4% AUCに到達した。
• 咳トラックでは10チームがベースラインを上回ったが、呼吸、発話、融合トラックではそれぞれ4、3、5チームがベースラインを上回った。
• 最良のチーム（T-15）は、wav2vec2.0埋め込みとクロスカテゴリモデルパラメータの平均化を用いたBiLSTMを採用し、全トラックで高い性能を発揮した。
• 最良のチーム（T-14）は、RASTA-PLP特徴を用いたランダムフォレストおよび多層パーセプトロンを採用し、呼吸および咳トラックで強力な性能を示した。