[论文解读] Evidence-based explanation to promote fairness in AI systems

Juliana Jansen Ferreira, Mateus de Souza Monteiro|arXiv (Cornell University)|Mar 3, 2020

Explainable Artificial Intelligence (XAI)参考文献 13被引用 4

一句话总结

本文提出了一种基于证据的解释框架，通过可追溯、上下文感知的叙事，提升AI系统中的公平性，使用户能够理解并合理化AI辅助决策。通过在决策叙事中整合对公平性的敏感设计，该方法增强了高风险AI应用（如司法系统或推荐系统）中的透明度与问责性。

ABSTRACT

As Artificial Intelligence (AI) technology gets more intertwined with every system, people are using AI to make decisions on their everyday activities. In simple contexts, such as Netflix recommendations, or in more complex context like in judicial scenarios, AI is part of people's decisions. People make decisions and usually, they need to explain their decision to others or in some matter. It is particularly critical in contexts where human expertise is central to decision-making. In order to explain their decisions with AI support, people need to understand how AI is part of that decision. When considering the aspect of fairness, the role that AI has on a decision-making process becomes even more sensitive since it affects the fairness and the responsibility of those people making the ultimate decision. We have been exploring an evidence-based explanation design approach to 'tell the story of a decision'. In this position paper, we discuss our approach for AI systems using fairness sensitive cases in the literature.

研究动机与目标

• 解决司法系统和推荐引擎等高风险决策场景中对可解释且公平的AI日益增长的需求。
• 研究AI系统如何通过可追溯、基于证据的叙事，支持用户合理化决策。
• 考察公平性在AI解释中的作用，及其对用户信任与决策结果责任的影响。
• 开发一种将AI决策呈现为‘故事’的设计方法，通过可验证证据支持，尤其在对公平性敏感的情境中。
• 通过将解释机制与伦理决策原则及人类问责性对齐，推动负责任的AI发展。

提出的方法

• 采用基于证据的解释设计方法，将AI决策结构化为连贯且可合理化的叙事。
• 通过突出与公平性相关的数据、模型行为和决策逻辑，将公平性考量整合到解释过程中。
• 利用情境化叙事，将AI输出与人类决策过程连接，强调可追溯性与可审计性。
• 应用人机交互（HCI）原则，确保解释对最终用户具有可理解性和可操作性。
• 利用对公平性敏感领域的案例研究，将解释框架扎根于真实世界的决策情境。
• 设计强调决策背后‘原因’的解释，特别是在涉及公平性权衡时。

实验结果

研究问题

• RQ1 AI系统如何提供支持决策公平性的解释？
• RQ2 哪些设计原则能使用户通过基于证据的叙事理解并合理化AI辅助决策？
• RQ3 将公平性整合到解释中如何影响用户对AI系统的信任与问责性？
• RQ4 AI解释在何种方式下可被结构化，以反映对公平性敏感情境中的决策过程？
• RQ5 数据与模型行为的可追溯性在促进负责任AI使用方面发挥何种作用？

主要发现

• 基于证据的解释方法使用户能够利用可验证的、上下文特定的信息重建决策过程。
• 对公平性敏感的解释提高了用户对AI输出中潜在偏见和伦理权衡的认识。
• 基于叙事的解释通过将AI决策与底层数据和逻辑关联，增强了透明度，支持问责性。
• 该框架通过使AI的贡献可追溯且可合理化，支持人机协同决策。
• 该方法在公平性与责任至关重要的高风险领域尤为有效。
• 当解释基于证据和公平性考量时，用户对AI决策的理解与信任度显著提升。