[论文解读] Explainable Empirical Risk Minimization

Zhang, L., Karakasidis, G.+3 more|arXiv (Cornell University)|Sep 3, 2020

Explainable Artificial Intelligence (XAI)参考文献 19被引用 4

一句话总结

本文提出了可解释性经验风险最小化（EERM），这是一种新颖的框架，通过用户特定反馈来平衡预测风险与主观可解释性，从而学习机器学习假设。通过将给定用户信号的预测条件熵作为正则化项，EERM 将模型可解释性适配到个体用户的认知框架中，在不牺牲准确性的前提下提升了可解释性，该方法在天气预测和仇恨言论检测数据集上的线性回归与决策树任务中得到了验证。

ABSTRACT

The successful application of machine learning (ML) methods becomes increasingly dependent on their interpretability or explainability. Designing explainable ML systems is instrumental to ensuring transparency of automated decision-making that targets humans. The explainability of ML methods is also an essential ingredient for trustworthy artificial intelligence. A key challenge in ensuring explainability is its dependence on the specific human user ("explainee"). The users of machine learning methods might have vastly different background knowledge about machine learning principles. One user might have a university degree in machine learning or related fields, while another user might have never received formal training in high-school mathematics. This paper applies information-theoretic concepts to develop a novel measure for the subjective explainability of the predictions delivered by a ML method. We construct this measure via the conditional entropy of predictions, given a user feedback. The user feedback might be obtained from user surveys or biophysical measurements. Our main contribution is the explainable empirical risk minimization (EERM) principle of learning a hypothesis that optimally balances between the subjective explainability and risk. The EERM principle is flexible and can be combined with arbitrary machine learning models. We present several practical implementations of EERM for linear models and decision trees. Numerical experiments demonstrate the application of EERM to detecting the use of inappropriate language on social media.

研究动机与目标

• 为应对机器学习可解释性中用户专业知识水平差异的挑战，引入一种个性化、依赖用户的可解释性度量方法。
• 开发一种灵活的学习原则，以最优方式权衡单个用户的经验证据风险与主观可解释性。
• 实现将用户反馈（如调查回答或生物物理信号）整合到训练过程中，以提升模型可解释性。
• 证明通过反馈信号引入用户特定直觉，可增强模型在现实应用中的可信度与性能。
• 提供一种可推广的框架，适用于多种模型（包括线性模型与决策树），且无需对模型进行特定修改。

提出的方法

• 该方法使用模型预测 h 在给定用户反馈信号 u 条件下的条件熵 H(h|u) 作为正则化项，以量化主观可解释性。
• 用户反馈信号 u 通过调查、生物物理测量或其他用户特定指标收集，并用于定义数据点之间的用户自定义相似性。
• EERM 将正则化风险最小化问题形式化，目标函数包含经验风险与基于 H(h|u) 的惩罚项，且受上界 η 的约束。
• 对于线性模型，该方法在 H(h|u) ≤ η 的约束下优化权重向量 w，采用用户信号分布的高斯近似。
• 对于决策树，EERM 为每个用户信号值 u 学习一个独立的树，通过限制树的深度或结构，确保在相似用户反馈下预测的一致性。
• 该框架通过在训练过程中集成用户反馈的算法实现，无需训练后持续获取用户输入，从而支持可扩展部署。

实验结果

研究问题

• RQ1 如何使机器学习模型的可解释性适应不同用户的背景知识差异？
• RQ2 能否基于信息论原理构建一种用户特定的可解释性度量，以反映用户直觉？
• RQ3 在学习过程中引入用户反馈信号在多大程度上能提升模型可解释性而不降低预测性能？
• RQ4 如何系统性地优化不同类型模型的模型风险与主观可解释性之间的权衡？
• RQ5 EERM 是否能有效应用于天气预测与仇恨言论检测等现实任务，并在可解释性与准确率方面实现可测量的改进？

主要发现

• 在天气预测任务中，随着条件熵上界 η 的增加，经验风险单调下降，表明在可解释性约束放宽时模型性能得到提升。
• 在线性回归中，最优权重向量 w 随 η 的变化系统性地发生偏移，反映出模型对用户特定可解释性需求的适应。
• 在仇恨言论检测任务中，η = 2 比特时 EERM 学习的决策树在测试集上达到 0.929 的准确率，表现出优异性能的同时保持了用户特定的可解释性。
• 所得决策树明确将用户信号 u（基于攻击性推文中的高频词）作为根节点，表明模型成功学习到与用户直觉对齐的预测。
• 该方法成功平衡了预测准确率与主观可解释性，条件熵作为有效正则化项，提升了对多样化用户的模型可信度。
• 数值实验确认，EERM 可灵活应用于线性模型与决策树，且在各类数据集上均实现了可解释性与性能的一致性提升。