[论文解读] Individual Explanations in Machine Learning Models: A Case Study on Poverty Estimation

Alfredo Carrillo, Luis Fernando Cantú+2 more|arXiv (Cornell University)|Apr 9, 2021

Explainable Artificial Intelligence (XAI)参考文献 25被引用 4

一句话总结

本文提出了一套实用的框架，用于在机器学习模型中生成贫困估计的局部、个体级解释，采用基于扰动的方法，并针对现实世界中的挑战（如不可能的输入和不可解释的特征）设计了定制化的缓解策略。结果表明，结合单变量、双变量和对比性扰动以及特征组重要性，可在保持真实社会政策应用中准确性的同时，提升模型的可解释性。

ABSTRACT

Machine learning methods are being increasingly applied in sensitive societal contexts, where decisions impact human lives. Hence it has become necessary to build capabilities for providing easily-interpretable explanations of models' predictions. Recently in academic literature, a vast number of explanations methods have been proposed. Unfortunately, to our knowledge, little has been documented about the challenges machine learning practitioners most often face when applying them in real-world scenarios. For example, a typical procedure such as feature engineering can make some methodologies no longer applicable. The present case study has two main objectives. First, to expose these challenges and how they affect the use of relevant and novel explanations methods. And second, to present a set of strategies that mitigate such challenges, as faced when implementing explanation methods in a relevant application domain -- poverty estimation and its use for prioritizing access to social policies.

研究动机与目标

• 为在现实世界机器学习应用中（尤其是贫困估计等敏感领域）应用事后可解释性方法提供实用指导，弥合现有空白。
• 识别并记录从业者在应用最先进解释方法时面临的常见挑战，例如特征工程和不切实际的输入扰动。
• 开发并验证一组缓解策略——包括临时条件性、双变量扰动和对比性解释——以提升模型解释的可靠性和可解释性。
• 展示一种可视化、交互式可解释性平台的可行性与实用性，该平台整合统计推理与定性社会工作输入，用于家庭贫困评估。

提出的方法

• 使用单变量扰动通过测量当每个特征在其他特征保持不变时发生微小变化时预测结果的变化，来计算个体特征重要性。
• 引入临时条件性以处理在逻辑上相互依赖或受上下文约束的特征，降低生成不可能或不切实际的输入组合的可能性。
• 应用双变量扰动以评估成对特征的联合影响，提升对单变量方法可能遗漏的复杂非线性交互作用的检测能力。
• 通过将目标家庭与典型贫困家庭的原型进行比较，引入对比性解释，突出关键差异，从而为模型的非贫困分类结果提供合理依据。
• 通过聚合预定义社会人口学类别（如住房、资产、职业）中个体特征贡献，计算群体层面的特征重要性，以提升高层次的可解释性。
• 部署一个交互式可视化平台，结合雷达图和收入分布图，以人类可读格式向技术与非技术人员呈现解释结果。

实验结果

研究问题

• RQ1 现实世界的数据约束（如特征工程和不可解释的输入）如何影响标准事后解释方法在贫困估计中的适用性？
• RQ2 当应用于现实、高维的家庭数据时，基于扰动的解释方法在多大程度上能生成可靠且出人意料的结果？
• RQ3 临时条件性和双变量扰动在复杂现实模型中如何提升特征重要性估计的稳健性和可解释性？
• RQ4 对比性解释是否能有效应对个体级模型解释中因不可能或极不可能观测值带来的挑战？
• RQ5 将统计解释与定性社会工作知识相结合，如何增强贫困瞄准系统中的决策能力？

主要发现

• 不切实际或不可能的观测值会显著削弱基于扰动的解释方法的可靠性，常导致反直觉或误导性的特征重要性评分。
• 所提出的临时条件性有效减少了不切实际输入扰动的生成，提升了特征重要性估计的合理性与可解释性。
• 双变量扰动揭示了特征之间（如资产与住房）的非线性交互作用，而单变量方法未能捕捉到这些关系，从而增强了解释的深度。
• 通过将目标家庭与代表性贫困家庭进行对比的对比性解释，为分类决策提供了更直观、更具上下文意义的推理依据。
• 可视化且交互式的可解释性平台使社会工作者能够将基于模型的推理与定性洞察相结合，提升了目标系统决策的透明度与信任度。
• 该方法已在哥斯达黎加成功部署，支持国家级社会机构在提升可解释性的同时，减少排除性错误，有效评估家庭社会经济状况。