[论文解读] Explainable Multi-class Classification of the CAMH COVID-19 Mental Health Data

YuanZheng Hu, Marina Sokolova|arXiv (Cornell University)|May 27, 2021

Explainable Artificial Intelligence (XAI)参考文献 13被引用 4

一句话总结

本研究提出了一种可解释的多分类框架，用于CAMH的COVID-19心理健康数据集，采用随机森林（68.19%准确率）和梯度提升（68.08%准确率）模型，并对比了事后（LIME）与事前（基尼重要性）可解释性方法，以识别疫情期间影响心理健康的关键因素。这是首次针对该数据集开展的可解释机器学习研究，强调了心理健康预测模型的透明性。

ABSTRACT

Application of Machine Learning algorithms to the medical domain is an emerging trend that helps to advance medical knowledge. At the same time, there is a significant a lack of explainable studies that promote informed, transparent, and interpretable use of Machine Learning algorithms. In this paper, we present explainable multi-class classification of the Covid-19 mental health data. In Machine Learning study, we aim to find the potential factors to influence a personal mental health during the Covid-19 pandemic. We found that Random Forest (RF) and Gradient Boosting (GB) have scored the highest accuracy of 68.08% and 68.19% respectively, with LIME prediction accuracy 65.5% for RF and 61.8% for GB. We then compare a Post-hoc system (Local Interpretable Model-Agnostic Explanations, or LIME) and an Ante-hoc system (Gini Importance) in their ability to explain the obtained Machine Learning results. To the best of these authors knowledge, our study is the first explainable Machine Learning study of the mental health data collected during Covid-19 pandemics.

研究动机与目标

• 使用机器学习识别在COVID-19疫情期间影响心理健康的关键因素。
• 开发并对比可解释人工智能方法在多分类心理健康分类中的应用。
• 评估LIME与基尼重要性在解释模型预测时的性能与可解释性。
• 通过可解释机器学习技术提供透明、可解释且可信的心理健康预测。
• 为公共卫生危机中的可解释心理健康建模贡献一个可复现的框架。

提出的方法

• 应用随机森林（RF）和梯度提升（GB）进行心理健康状态的多分类任务。
• 使用LIME（局部可解释模型无关解释）作为事后解释方法，以解释单个预测结果。
• 采用基尼重要性作为事前方法，基于树模型结构评估特征贡献。
• 通过准确率指标在CAMH的COVID-19心理健康数据集上评估模型性能。
• 将LIME解释的预测准确率（RF为65.5%，GB为61.8%）与原始模型准确率进行对比，以评估解释的保真度。
• 对多个分类类别下的特征重要性与模型行为进行分析。

实验结果

研究问题

• RQ1 在COVID-19疫情期间，哪些机器学习模型在多分类心理健康状态分类中达到最高准确率？
• RQ2 像LIME这样的事后可解释方法在解释模型输出时，其预测保真度如何？
• RQ3 与事后方法相比，像基尼重要性这样的事前特征重要性方法在可解释性与可靠性方面表现如何？
• RQ4 根据可解释模型，影响疫情期间心理健康的最关键因素是什么？
• RQ5 可解释机器学习技术能否增强心理健康预测系统中的信任与透明度？

主要发现

• 随机森林在多分类心理健康分类中达到最高准确率68.19%。
• 梯度提升模型准确率为68.08%，在本研究中略优于随机森林。
• 当用于解释随机森林预测时，LIME的预测准确率达到65.5%，表明其具有较强的保真度。
• 当用于解释梯度提升预测时，LIME的准确率下降至61.8%，表明该模型的解释保真度较低。
• 基尼重要性在无需重新训练或扰动的情况下，提供了稳定且可解释的特征排序。
• 本研究是首次将可解释机器学习技术应用于CAMH的COVID-19心理健康数据集，为透明的心理健康建模奠定了基础。