[论文解读] Fairness and Sequential Decision Making: Limits, Lessons, and Opportunities

Samer B. Nashed, Justin Svegliato+1 more|arXiv (Cornell University)|Jan 13, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

本文通过分析预测系统中的公平性概念如何影响顺序决策模型（如马尔可夫决策过程）以及伦理决策技术如何增强公平性研究，弥合了算法公平性与伦理决策之间的鸿沟。它指出了将公平性方法应用于顺序系统时的关键局限，强调了跨领域融合的机遇，并呼吁在长期决策系统中提升可解释性、利益相关者参与以及伦理分析。

ABSTRACT

As automated decision making and decision assistance systems become common in everyday life, research on the prevention or mitigation of potential harms that arise from decisions made by these systems has proliferated. However, various research communities have independently conceptualized these harms, envisioned potential applications, and proposed interventions. The result is a somewhat fractured landscape of literature focused generally on ensuring decision-making algorithms "do the right thing". In this paper, we compare and discuss work across two major subsets of this literature: algorithmic fairness, which focuses primarily on predictive systems, and ethical decision making, which focuses primarily on sequential decision making and planning. We explore how each of these settings has articulated its normative concerns, the viability of different techniques for these different settings, and how ideas from each setting may have utility for the other.

研究动机与目标

• 考察算法公平性与伦理决策研究领域之间在概念、方法和实践上的差距。
• 评估公平性技术（如偏差缓解和公平性度量）在顺序决策框架（如马尔可夫决策过程，MDPs）中的可行性。
• 识别伦理决策方法（包括价值对齐和长期后果建模）如何为动态系统中的公平性研究提供启示。
• 突出在可解释性、人机协同设计和利益相关者参与方面，顺序决策系统中尚未被充分探索的机遇。
• 倡导采用整合性、跨学科的方法，以确保在高风险领域中顺序人工智能系统的伦理化、透明化和可问责部署。

提出的方法

• 以马尔可夫决策过程（MDP）作为顺序决策的基石模型，分析其结构、求解方法和假设。
• 对比算法公平性与伦理决策文献中的规范性关切、公平性度量和缓解策略。
• 分析顺序决策的全流程，包括模型设计、奖励塑造和策略学习，以识别伦理风险点和干预机会。
• 评估现有公平性度量（如人口均等性、机会均等）在顺序环境中的适用性，指出其因时间依赖性和动态依赖性而存在的局限。
• 引入可解释性与可解释性在顺序系统中的作用，借鉴公平性文献中的可操作补救措施和交叉质询等概念。
• 提出将人机交互领域中参与式设计和利益相关者参与实践整合到人工智能系统开发中，以实现伦理对齐。

实验结果

研究问题

• RQ1 预测系统中的公平性度量与缓解技术在多大程度上能被有意义地应用于顺序决策模型？
• RQ2 伦理决策框架（如价值对齐和长期后果建模）如何在具有反馈回路和累积影响的动态多步系统中指导公平性？
• RQ3 预测系统中的公平性与顺序系统中的伦理决策在规范性关切和设计挑战方面存在哪些关键差异？
• RQ4 如何将可解释性与人机协同机制适配于顺序决策系统，以提升问责制与透明度？
• RQ5 利益相关者参与与参与式设计在塑造伦理且公平的顺序决策系统中扮演何种角色？

主要发现

• 人口均等性与机会均等性等公平性度量通常不适用于顺序决策系统，因其静态、一次性特性，且未能考虑长期动态影响。
• 伦理决策技术（如奖励塑造和价值对齐）为建模随时间演变的公平性提供了有前景的工具，尤其在具有反馈回路和累积影响的系统中。
• 与预测模型相比，顺序系统中的可解释性与可解释性仍发展不足，针对动态环境中可操作补救措施或交叉质询的研究极为有限。
• 当前的模型开发实践往往忽视利益相关者，尽管专家和社区知识在提升顺序系统伦理成果方面具有巨大潜力。
• 顺序系统中缺乏标准化的伦理分析，特别是在长期伤害与系统性不公方面，带来了重大风险，尤其在自动驾驶和医疗保健等领埴。
• 由于假设、设计流程和部署环境的差异，公平性与伦理决策实践的整合受到阻碍，亟需新的跨学科框架以弥合这一鸿沟。