[论文解读] Directive Explanations for Actionable Explainability in Machine Learning Applications

Ronal Singh, Paul Dourish+5 more|arXiv (Cornell University)|Feb 3, 2021

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了指令式解释——一种可操作的建议，明确告知个体为实现机器学习决策中的期望结果（如贷款审批）应采取的具体步骤。研究通过在线实验表明，用户对指令式解释有显著偏好（p < 0.001），并提出了一种基于马尔可夫决策过程（MDPs）的概念模型，用于生成此类指令，强调以人为本、情境特定的可追溯性（recourse）在人工智能系统中的重要性。

ABSTRACT

This paper investigates the prospects of using directive explanations to assist people in achieving recourse of machine learning decisions. Directive explanations list which specific actions an individual needs to take to achieve their desired outcome. If a machine learning model makes a decision that is detrimental to an individual (e.g. denying a loan application), then it needs to both explain why it made that decision and also explain how the individual could obtain their desired outcome (if possible). At present, this is often done using counterfactual explanations, but such explanations generally do not tell individuals how to act. We assert that counterfactual explanations can be improved by explicitly providing people with actions they could use to achieve their desired goal. This paper makes two contributions. First, we present the results of an online study investigating people's perception of directive explanations. Second, we propose a conceptual model to generate such explanations. Our online study showed a significant preference for directive explanations ($p&lt;0.001$). However, the participants' preferred explanation type was affected by multiple factors, such as individual preferences, social factors, and the feasibility of the directives. Our findings highlight the need for a human-centred and context-specific approach for creating directive explanations.

研究动机与目标

• 调查指令式解释——即针对实现期望结果而提供的明确行动建议——是否能提升用户对机器学习决策的理解与可追溯性。
• 探讨个体偏好、社会因素以及行动可行性如何影响用户对指令式与非指令式解释的选择。
• 开发一种概念模型，能够通过将可追溯性建模为马尔可夫决策过程（MDPs）的规划问题，生成指令式解释。
• 在真实决策场景（如贷款审批）中，评估指令式解释相较于标准反事实解释的有效性。
• 倡导一种以人为本、情境特定的可解释人工智能方法，优先提供可操作、个性化的指导，以帮助用户寻求可追溯性。

提出的方法

• 在亚马逊MTurk平台上开展在线研究，招募54名参与者，使用15个贷款决策场景，比较三种解释类型：非指令式反事实解释、指令式具体（如“还清你的汽车贷款”）和指令式通用（如“减少你的总债务”）。
• 收集用户对解释类型的排序偏好及定性反馈，以评估用户感知与推理过程。
• 提出一种基于马尔可夫决策过程（MDPs）的概念模型，将指令生成形式化为从当前状态到期望结果的规划问题。
• 将训练模型中的可操作输入特征映射到现实世界行动，确保建议的可行性与情境相关性。
• 在解释生成过程中整合用户偏好与行动成本考量，建议采用对话式个性化方法以提升相关性。
• 以结构因果模型和先前关于翻转集（flip sets）的研究（Ustun et al., 2019）为基础，确保生成的指令能保证实现期望结果。

实验结果

研究问题

• RQ1 用户在偏好和感知有用性方面，如何评价指令式解释相较于非指令式反事实解释？
• RQ2 哪些因素（如个人偏好、社会情境或行动可行性）会影响用户在指令式具体与指令式通用解释之间的选择？
• RQ3 基于马尔可夫决策过程（MDPs）的概念模型能否有效生成可操作、情境感知的可追溯指令？
• RQ4 在贷款审批等高风险决策中，用户在多大程度上重视明确的行动建议，而非仅对反事实状态的描述？
• RQ5 如何使解释个性化，以考虑个体约束与偏好，同时保持可行性与正确性？

主要发现

• 对指令式解释相较于非指令式反事实解释存在显著偏好（p < 0.001），约50%的参与者选择指令式具体解释。
• 当行动可行且与个人情况相符时（如减少债务或还清贷款），参与者更偏好指令式具体解释。
• 当用户希望自主选择行动方式，且具体行动被认为成本过高或不切实际时，更倾向于指令式通用解释。
• 大量参与者表示，当决策结果有利时（如贷款获批），解释的价值较低，凸显了解释效用的情境依赖性。
• 用户偏好受行动感知成本与可行性的影响，表明并非所有指令对所有用户都同样有效。
• 研究发现，单一解释类型无法满足所有用户需求，进一步强化了在真实AI系统中采用自适应、个性化、情境感知解释生成的必要性。