[論文レビュー] Using Deep Learning with Large Aggregated Datasets for COVID-19 Classification from Cough

Esin Darici Haritaoglu, Nicholas Rasmussen+13 more|arXiv (Cornell University)|Jan 5, 2022

COVID-19 diagnosis using AI被引用数 10

ひとこと要約

本研究では、PCR検査で確認された臨床的咳音とクラウドソーシングによる録音を統合した大規模で集約されたデータセットを活用し、咳音を用いたCOVID-19分類のためのディープラーニング手法を提案する。自己教師あり学習モデルではAUC 0.807、CNNではAUC 0.802を達成し、より大きなデータセットを用いることで性能が向上することを示し、バイアスを低減し一般化性能を向上させるために、より広範かつ高品質なデータ収集の必要性を強調している。

ABSTRACT

The Covid-19 pandemic has been one of the most devastating events in recent history, claiming the lives of more than 5 million people worldwide. Even with the worldwide distribution of vaccines, there is an apparent need for affordable, reliable, and accessible screening techniques to serve parts of the World that do not have access to Western medicine. Artificial Intelligence can provide a solution utilizing cough sounds as a primary screening mode for COVID-19 diagnosis. This paper presents multiple models that have achieved relatively respectable performance on the largest evaluation dataset currently presented in academic literature. Through investigation of a self-supervised learning model (Area under the ROC curve, AUC = 0.807) and a convolutional nerual network (CNN) model (AUC = 0.802), we observe the possibility of model bias with limited datasets. Moreover, we observe that performance increases with training data size, showing the need for the worldwide collection of data to help combat the Covid-19 pandemic with non-traditional means.

研究の動機と目的

• PCR検査で確認された臨床的咳音とクラウドソーシングによる録音を統合した大規模で集約されたデータセットを活用し、自己教師あり学習モデルと畳み込みニューラルネットワーク（CNN）を用いて、COVID-19分類のための信頼性が高く、アクセスしやすく、低コストなAIベースのスクリーニング手法を開発すること。
• 過去の研究で見られるモデルバイアスや一般化性能の問題を、複数のソースからの多様で高品質な咳音データセットを統合することで解決すること。
• 大規模でPCR検査で確認された咳音データセットを用いて、自己教師あり学習と畳み込みニューラルネットワークの性能を評価し、その診断可能性を検証すること。
• 訓練データサイズがモデル性能に与える影響を調査し、モデルの頑健性を向上させるために継続的なグローバルなデータ収集の必要性を強調すること。

提案手法

• 本研究では、PCR検査で確認された臨床的咳音（Virufy-India, IATOS）とクラウドソーシングによる咳音（Virufy, COUGHVID, Coswara）を統合した大規模で集約されたデータセットを用い、モデルの訓練および評価を実施する。
• 自己教師あり学習（SSL）モデルは、ラベル付きおよびラベルなしの咳音データを用いて訓練され、多数の手動アノテーションを必要とせずに堅牢な表現を学習する。
• 畳み込みニューラルネットワーク（CNN）は、完全に教師ありの方法でラベル付きの咳音サンプルのみを用いて訓練され、SSLアプローチと性能を比較する。
• モデルの性能はROC曲線下の面積（AUC）を用いて評価され、感度、特異度、および多様なデータソース間での一般化性能についても分析が行われる。
• 研究者らは、低品質な音声を除外するためにカスタムの咳音スクリーニングツールを適用し、訓練および評価データセットにおけるノイズ関連バイアスを低減した。
• ハイパーパramータチューニング、データオーグメンテーション、しきい値最適化を検討し、モデル性能の向上を図った。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習とCNNモデルは、大規模で多様なデータセットを用いて、咳音からのCOVID-19分類において高い診断性能を達成できるか？
• RQ2 訓練データサイズの増加に伴いモデル性能はどのように変化するか？ また、これはより大きなデータセットがバイアスを低減し一般化性能を向上させるという仮説を支持するか？
• RQ3 データセットのソースやデータ品質（例：PCR検査で確認されたもの vs クラウドソーシングによるもの）が、モデル性能と信頼性にどの程度影響を与えるか？
• RQ4 SVMのような従来の機械学習モデルと比較して、ディープラーニングモデルの性能指標は、咳音を用いたCOVID-19分類の文脈でどのように異なるか？
• RQ5 データ品質および前処理、特にノイズフィルタリングの役割は、アルゴリズムバイアスを最小限に抑え、実世界への適用性を向上させるためにどの程度重要か？

主な発見

• 自己教師あり学習モデルはAUC 0.807を達成し、CNNモデルはAUC 0.802を達成した。両モデルとも大規模で多様な評価データセットにおいて優れた性能を示した。
• 訓練データサイズの増加に伴い性能が向上し、データ量とモデル精度の間には正の相関関係があることが示された。これは、継続的なデータ収集が有効であることを支持する。
• SSLモデルはわずかに高い感度を示し、CNNモデルよりも0.016のAUCで優位であったが、差は限定的であった。両モデルとも実用化に適していることが示唆された。
• 検査で確認されていないクラウドソーシングによるデータ（ラベル付きデータの72.6％）には、ラベル誤りの可能性があり、これが実世界での性能や一般化性能に影響を及ぼす可能性があることが判明した。
• 限定的なデータセットではモデルバイアスが観察された。これは、人種的・文化的要因や録音環境に起因するバイアスを低減するため、多様で高品質なデータの重要性を強調している。
• 複数のデータソースの統合により、ノイズに起因するバイアスが緩和され、カスタムの咳音スクリーニングツールの使用によりデータ品質が向上し、より信頼性の高いモデルの結果が得られた。