[论文解读] Evaluating the Explainers: Black-Box Explainable Machine Learning for Student Success Prediction in MOOCs

Vinitra Swamy, Bahar Radmehr+3 more|arXiv (Cornell University)|Jul 1, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文评估了五种黑箱可解释性方法——LIME、SHAP、DiCE、CEM 和 PermutationSHAP——在使用双向LSTM进行MOOC学生学业成功预测中的应用。研究发现，不同解释器在特征重要性排序上存在显著分歧，方法选择对解释的影响甚至超过课程或模型本身的影响，凸显了在教育人工智能中选择解释器的关键作用。

ABSTRACT

Neural networks are ubiquitous in applied machine learning for education. Their pervasive success in predictive performance comes alongside a severe weakness, the lack of explainability of their decisions, especially relevant in human-centric fields. We implement five state-of-the-art methodologies for explaining black-box machine learning models (LIME, PermutationSHAP, KernelSHAP, DiCE, CEM) and examine the strengths of each approach on the downstream task of student performance prediction for five massive open online courses. Our experiments demonstrate that the families of explainers do not agree with each other on feature importance for the same Bidirectional LSTM models with the same representative set of students. We use Principal Component Analysis, Jensen-Shannon distance, and Spearman's rank-order correlation to quantitatively cross-examine explanations across methods and courses. Furthermore, we validate explainer performance across curriculum-based prerequisite relationships. Our results come to the concerning conclusion that the choice of explainer is an important decision and is in fact paramount to the interpretation of the predictive results, even more so than the course the model is trained on. Source code and models are released at http://github.com/epfl-ml4ed/evaluating-explainers.

研究动机与目标

• 为解决教育机器学习中可解释性方法之间缺乏对比评估的问题。
• 探究在多个MOOC中，不同解释器如何对同一学生学业表现预测模型的特征重要性进行排序。
• 评估解释器是否能通过仅使用行为特征检测课程中的先修关系。
• 量化解释器选择对解释可靠性的影响，与模型或课程差异的影响进行比较。
• 为实践者提供指导，选择能产生更可信且一致解释的可解释性方法，以提升教育人工智能的可解释性。

提出的方法

• 将五种最先进的黑箱可解释性方法——LIME、PermutationSHAP、KernelSHAP、DiCE 和 CEM——应用于在五个MOOC数据集上训练的同一双向LSTM模型。
• 对特征重要性分数进行归一化处理，使其范围为[0,1]，并基于分层且均匀采样的学生子集进行一致比较。
• 使用主成分分析（PCA）分析不同方法之间解释分布的维度与结构特征。
• 计算Jensen-Shannon距离，以衡量不同方法生成的解释分布之间的统计差异。
• 使用Spearman等级相关系数评估不同解释器之间特征重要性排序的等级相似性。
• 在具有已知先修周关系的MOOC上执行基于课程的验证，以测试解释器是否能仅通过行为特征检测到这些依赖关系。

实验结果

研究问题

• RQ1 对于相同的模型和课程，不同可解释性方法生成的解释在多大程度上相似？（RQ1）
• RQ2 不同MOOC之间的解释分布在定量上如何比较？（RQ2）
• RQ3 解释结果是否与课程教学大纲中的已知先修关系一致？（RQ3）
• RQ4 解释器选择对解释的影响程度，与课程或模型架构选择相比如何？

主要发现

• 五种可解释性方法在相同模型和课程下生成的特征重要性分布存在显著差异，各方法之间的Spearman等级相关系数较低。
• LIME始终生成稀疏且异常的特征集合，与其他方法相比具有最高的Jensen-Shannon距离，表明其解释结果存在高度差异。
• 解释器的选择对特征重要性分布的影响，甚至超过模型所训练的课程本身，凸显了解释器选择在解释过程中的决定性作用。
• 所有评估的方法均能部分检测到周次之间的先修关系，但对后期周次（如第9周）的检测性能下降，表明对长期依赖关系的敏感性降低。
• 邻近的行为特征（近期活动）始终被排在更重要的位置，表明特征时间接近性与感知重要性之间存在强相关性。
• 尽管存在差异，所有方法在一定程度上与课程结构保持一致，表明行为特征中隐含地编码了先修知识，尽管并非完全准确。