[论文解读] Case-Based Reasoning for Assisting Domain Experts in Processing Fraud Alerts of Black-Box Machine Learning Models

Hilde Weerts, Werner van Ipenburg+1 more|arXiv (Cornell University)|Jul 7, 2019

Explainable Artificial Intelligence (XAI)参考文献 20被引用 5

一句话总结

本文提出了一种基于案例的推理（CBR）系统，通过基于SHAP解释相似性而非仅特征值来检索和可视化相似的历史预测，从而增强对黑箱欺诈检测模型预测结果的信任。该方法通过向领域专家展示类似历史案例的标注方式，提升了警报处理效率，实证结果表明，该方法在一家大型荷兰银行的欺诈分析师中既有效，又被认为有用且易于使用。

ABSTRACT

In many contexts, it can be useful for domain experts to understand to what extent predictions made by a machine learning model can be trusted. In particular, estimates of trustworthiness can be useful for fraud analysts who process machine learning-generated alerts of fraudulent transactions. In this work, we present a case-based reasoning (CBR) approach that provides evidence on the trustworthiness of a prediction in the form of a visualization of similar previous instances. Different from previous works, we consider similarity of local post-hoc explanations of predictions and show empirically that our visualization can be useful for processing alerts. Furthermore, our approach is perceived useful and easy to use by fraud analysts at a major Dutch bank.

研究动机与目标

• 为解决在复杂黑箱机器学习模型用于欺诈检测时，评估其预测可信度的挑战。
• 为领域专家提供直观、基于证据的支持，以处理欺诈警报，超越原始置信度分数或孤立的SHAP解释。
• 探究局部模型解释（如SHAP值）的相似性是否优于基于特征值的相似性，从而提升欺诈警报处理中的案例检索效果。
• 在真实银行环境中，通过实际工作的欺诈分析师评估该CBR系统的感知有用性与可用性。

提出的方法

• 该系统采用两阶段CBR方法：首先检索与新欺诈警报最相似的k个历史案例，然后可视化这些检索到的邻居的真实标签。
• 提出一种新颖的距离函数，基于局部SHAP解释测量相似性，结合特征值与局部解释贡献。
• 评估了多种距离函数：基于特征值的（dF）、基于SHAP的（dS）以及局部加权的（dL），其中dS表现最优。
• 系统通过基于Python的仪表板实现，展示模型置信度、SHAP值以及相似案例的动态邻域可视化。
• 用户评估采用“思考 aloud”协议与Davis（1989）调查问卷，以评估欺诈分析师对系统感知有用性与易用性的评价。
• 案例库基于历史欺诈警报构建，相似性通过混合距离函数衡量，强调局部解释的一致性。

实验结果

研究问题

• RQ1 与基于特征值的相似性相比，基于局部SHAP解释的相似性是否能提升欺诈警报处理中相关历史案例的检索效果？
• RQ2 不同距离函数（dF、dS、dL）在多样化的欺诈检测数据集上的表现如何变化？
• RQ3 在真实银行环境中，该CBR系统在多大程度上被领域专家视为有用且易于使用？
• RQ4 可视化具有已知结果的相似历史案例，是否能为评估预测可信度提供可操作的证据？

主要发现

• 基于SHAP的距离函数（dS）在案例检索与邻域可视化方面始终优于基于特征值的（dF）与局部加权的（dL）函数，尤其在Phoneme与欺诈检测数据集上表现突出。
• 在Churn数据集上，dF与dL在案例检索中表现最佳，而dL在邻域可视化中表现最优，表明距离函数选择对数据集具有敏感性。
• 四位欺诈分析师的可用性测试显示，感知有用性（M = 5.64/7）与易用性（M = 5.96/7）得分均较高，表明用户接受度强。
• 口头报告表明，邻域可视化帮助分析师将其对欺诈检测规则的直觉与模型行为对齐，尤其在缺乏强初始直觉的案例中效果显著。
• 当检索到的邻居的真实标签与模型预测一致时，系统的效果最为显著，为可信度提供了清晰证据。
• 本研究表明，SHAP解释具有高度可聚类性，提示未来可探索基于原型解释的方法以支持对全局模型的理解。