[论文解读] Algorithmic Fairness in Business Analytics: Directions for Research and Practice

Maria De‐Arteaga, Stefan Feuerriegel+1 more|arXiv (Cornell University)|Jul 22, 2022

Ethics and Social Impacts of AI被引用 8

一句话总结

本文提出了一套全面的框架，旨在将算法公平性整合到业务分析（BA）中，认为公平性与效用并非天然对立，且可在整个BA生命周期中嵌入。该框架综合了偏差检测与缓解技术，强调在优化模型中实现‘设计即公平’，并呼吁业务运营管理（OM）研究人员主导开发细致、符合伦理的决策系统，以同时提升公平性与组织绩效。

ABSTRACT

The extensive adoption of business analytics (BA) has brought financial gains and increased efficiencies. However, these advances have simultaneously drawn attention to rising legal and ethical challenges when BA inform decisions with fairness implications. As a response to these concerns, the emerging study of algorithmic fairness deals with algorithmic outputs that may result in disparate outcomes or other forms of injustices for subgroups of the population, especially those who have been historically marginalized. Fairness is relevant on the basis of legal compliance, social responsibility, and utility; if not adequately and systematically addressed, unfair BA systems may lead to societal harms and may also threaten an organization's own survival, its competitiveness, and overall performance. This paper offers a forward-looking, BA-focused review of algorithmic fairness. We first review the state-of-the-art research on sources and measures of bias, as well as bias mitigation algorithms. We then provide a detailed discussion of the utility-fairness relationship, emphasizing that the frequent assumption of a trade-off between these two constructs is often mistaken or short-sighted. Finally, we chart a path forward by identifying opportunities for business scholars to address impactful, open challenges that are key to the effective and responsible deployment of BA.

研究动机与目标

• 应对由有偏见的业务分析系统带来的日益增长的伦理与法律风险，这些系统对边缘化群体造成不成比例的影响。
• 挑战业务分析中公平性与效用之间存在权衡的普遍假设，主张通过系统性设计实现二者的兼容。
• 为业务与运营管理（OM）研究人员提供一条路线图，通过在分析生命周期的每个阶段嵌入公平性，推动公平业务分析的发展。
• 强调OM在将业务实践与可持续发展目标对齐方面的作用，特别是在促进公平与包容方面。
• 弥合计算机科学领域中关于算法公平性的研究与商业情境中实际应用之间的鸿沟，尤其针对中小企业和非科技企业。

提出的方法

• 综述在预测性与规范性分析中，对数据、模型和结果中的偏差检测的最先进方法。
• 调查公平感知的机器学习算法，包括用于偏差缓解的预处理、训练中处理和后处理技术。
• 通过在决策过程中（如资源配置、定价）制定公平性约束或目标，将公平性整合到优化模型中。
• 提出一种系统与流程视角的业务分析，强调公平性必须在问题定义、数据收集、模型开发和部署等全过程中整体性地加以解决。
• 分析监管框架，如美国《平等信用机会法》和《通用数据保护条例》（GDPR），以及欧盟《人工智能法案》，以指导实际的公平性合规。
• 倡导‘设计即公平’——从一开始就将公平性嵌入业务分析系统的架构中，而非将其视为事后补充。

实验结果

研究问题

• RQ1 如何在不损害效用或性能的前提下，系统性地将公平性整合到业务分析生命周期中？
• RQ2 在业务分析中，公平性与效用之间感知到的权衡在多大程度上是真实的？在哪些情境下可以克服这一权衡？
• RQ3 中小企业（SMEs）在广泛采用算法公平性方面面临的主要障碍是什么？如何应对这些障碍？
• RQ4 运营管理人员（OM）研究人员如何能为开发公平、可扩展且符合伦理的决策模型做出贡献？
• RQ5 数学形式化公平性在多大程度上无法捕捉现实中的不公？这些局限性如何得以缓解？

主要发现

• 在业务分析中，公平性与效用之间存在必要权衡的假设往往错误或短视；公平性不仅可以与之共存，甚至能增强业务绩效。
• 现实案例——如Staples的定价算法和医疗风险评分模型——表明，有偏见的业务分析会系统性地使边缘化群体（包括低收入者和非裔患者）处于不利地位。
• 如美国《平等信用机会法》和《通用数据保护条例》（GDPR）等监管框架，已对防止算法歧视施加法律义务，凸显了整合公平性的紧迫性。
• 尽管意识日益增强，但算法公平性的实质性实施仍主要局限于大型科技公司，中小企业面临显著的资源与专业能力障碍。
• OM领域在开发‘设计即公平’的优化模型方面具有独特优势，这些模型可与可持续发展目标对齐，并超越利润最大化的利益相关者价值。
• 偏差可能在业务分析流程的多个阶段出现，从数据收集到模型部署，因此需要采用系统性方法进行公平性审计与缓解。