[论文解读] An Ensemble-based Multi-Criteria Decision Making Method for COVID-19 Cough Classification

Nihad Karim Chowdhury, Muhammad Ashad Kabir+1 more|arXiv (Cornell University)|Oct 1, 2021

COVID-19 diagnosis using AI参考文献 52被引用 7

一句话总结

本文提出了一种基于集成学习的多准则决策（MCDM）框架，结合熵权TOPSIS与软集成和硬集成学习方法，用于从咳嗽声音中分类识别COVID-19的最优机器学习模型。基于剑桥、Coswara、Virufy和NoCoCoDa四个数据集的音频特征，该方法识别出Extra-Trees和XGBoost为表现最佳的模型，在剑桥症状阳性子集上分别实现了AUC为0.95和精确率为1.0的性能。

ABSTRACT

The objectives of this research are analysing the performance of the state-of-the-art machine learning techniques for classifying COVID-19 from cough sound and identifying the model(s) that consistently perform well across different cough datasets. Different performance evaluation metrics (such as precision, sensitivity, specificity, AUC, accuracy, etc.) make it difficult to select the best performance model. To address this issue, in this paper, we propose an ensemble-based multi-criteria decision making (MCDM) method for selecting top performance machine learning technique(s) for COVID-19 cough classification. We use four cough datasets, namely Cambridge, Coswara, Virufy, and NoCoCoDa to verify the proposed method. At first, our proposed method uses the audio features of cough samples and then applies machine learning (ML) techniques to classify them as COVID-19 or non-COVID-19. Then, we consider a multi-criteria decision-making (MCDM) method that combines ensemble technologies (i.e., soft and hard) to select the best model. In MCDM, we use the technique for order preference by similarity to ideal solution (TOPSIS) for ranking purposes, while entropy is applied to calculate evaluation criteria weights. In addition, we apply the feature reduction process through recursive feature elimination with cross-validation under different estimators. The results of our empirical evaluations show that the proposed method outperforms the state-of-the-art models.

研究动机与目标

• 为解决在多个评估指标（如AUC、精确率、召回率）冲突时，选择最适合用于COVID-19咳嗽分类的机器学习模型的挑战。
• 开发一种鲁棒的模型选择框架，整合多种性能标准，减少单一评估指标带来的偏差。
• 在涵盖剑桥、Coswara、Virufy和NoCoCoDa等多样化真实世界咳嗽数据集上评估模型性能。
• 利用基于音频的特征与集成决策方法，识别出最可靠且一致的COVID-19检测分类器。
• 通过采用高召回率模型最小化假阴性，提升检测可靠性，尤其在低资源筛查场景中。

提出的方法

• 使用梅尔频率倒谱系数（MFCC）、谱质图、梅尔尺度频谱图、频谱对比度和音高质心等方法从咳嗽样本中提取音频特征。
• 在不同估计器下应用带交叉验证的递归特征消除（RFECV），以降低特征维度并提升模型泛化能力。
• 使用三种不同的训练策略与不同超参数，训练了十种不同的机器学习分类器（包括Extra-Trees、XGBoost、随机森林、SVM等）。
• 为每种模型和训练策略构建包含八个评估指标（如AUC、精确率、召回率、特异性）的决策矩阵。
• 使用基于熵的加权方法计算每个评估标准的权重，以反映其相对重要性与信息含量。
• 采用逼近理想解排序技术（TOPSIS）根据模型与理想解的相对接近程度进行排序，使用熵导出的权重作为输入。

实验结果

研究问题

• RQ1 在从咳嗽声音中分类识别COVID-19时，哪种机器学习模型能在多个评估指标上持续实现最高性能？
• RQ2 如何调和冲突的性能指标（如高AUC但低召回率），以识别出最可靠的诊断模型？
• RQ3 集成技术（软集成与硬集成）的整合在多准则决策中的模型选择鲁棒性与稳定性方面，能提升到何种程度？
• RQ4 不同的训练策略与超参数设置在MCDM框架中如何影响模型排名与选择结果？
• RQ5 所提出的MCDM框架是否能在多样化的真实世界咳嗽数据集上，整体诊断性能上超越现有最先进模型？

主要发现

• 在使用Extra-Trees分类器时，所提出的集成MCDM方法在症状性剑桥数据集上实现了AUC为0.95、精确率为1.0、召回率为0.97的性能。
• 在Virufy数据集上，Extra-Trees分类器实现了AUC为0.92、精确率为0.89、召回率为0.88；而XGBoost实现了AUC为0.94、精确率为0.89、召回率为0.98。
• 当将Virufy与NoCoCoDa数据集合并时，Extra-Trees分类器实现了AUC为0.97、精确率为1.0，召回率为0.92，表明其具备出色的泛化能力与低假阴性率。
• 在合并的Virufy+NoCoCoDa数据集上，XGBoost分类器实现了最高的AUC为0.98与召回率为0.98，精确率为0.99，展现出卓越的诊断可靠性。
• 基于集成的MCDM方法优于现有最先进模型，包括Melek等人（2021年）的研究，尤其在NoCoCoDa集成数据集上的精确率与召回率方面表现更优。
• 树基集成模型（如Extra-Trees、XGBoost）在所有数据集与评估标准下均持续优于非树基模型，表明其在基于咳嗽的COVID-19检测中具有高度适用性。