[论文解读] Human-Algorithm Collaboration: Achieving Complementarity and Avoiding Unfairness

Kate Donahue, Alexandra Chouldechova+1 more|arXiv (Cornell University)|Feb 17, 2022

Ethics and Social Impacts of AI被引用 5

一句话总结

本文提出了一套理论框架，用于建模人机协作，证明了在何种条件下联合系统可实现互补性——即联合系统的损失低于人类或算法单独运行时的损失。本文证明了互补性的不可能性结果，并揭示了公平性权衡，表明除非满足特定平衡条件，否则互补性可能加剧对受保护群体的损失差异。

ABSTRACT

Much of machine learning research focuses on predictive accuracy: given a task, create a machine learning model (or algorithm) that maximizes accuracy. In many settings, however, the final prediction or decision of a system is under the control of a human, who uses an algorithm's output along with their own personal expertise in order to produce a combined prediction. One ultimate goal of such collaborative systems is "complementarity": that is, to produce lower loss (equivalently, greater payoff or utility) than either the human or algorithm alone. However, experimental results have shown that even in carefully-designed systems, complementary performance can be elusive. Our work provides three key contributions. First, we provide a theoretical framework for modeling simple human-algorithm systems and demonstrate that multiple prior analyses can be expressed within it. Next, we use this model to prove conditions where complementarity is impossible, and give constructive examples of where complementarity is achievable. Finally, we discuss the implications of our findings, especially with respect to the fairness of a classifier. In sum, these results deepen our understanding of key factors influencing the combined performance of human-algorithm systems, giving insight into how algorithmic tools can best be designed for collaborative environments.

研究动机与目标

• 在可处理的理论框架中形式化并分析人机协作。
• 识别联合系统实现互补性的条件——即联合系统的期望损失低于任一组件单独运行时的损失。
• 研究互补性对公平性的影响，特别是对受保护群体之间损失差异的影响。
• 通过识别协作如何在不加剧不公平性的情况下提升性能，为算法设计提供指导。

提出的方法

• 提出一种双模式模型，用于表示人类和算法在具有不同损失率的输入子群体中的表现。
• 使用损失差异度量来量化公平性，比较单独运行的人类、算法以及联合系统的性能。
• 推导出不可能性定理，表明在极端模式下，当一方在性能上全面主导另一方时，互补性无法实现。
• 引入引理5，提供充分条件，表明在极端模式下，若人类和算法均未在双方中占据主导地位，则联合系统的公平性不会劣于单独运行的任一组件。
• 通过比较单独运行系统与联合系统之间的损失差异（ε），分析公平性权衡。
• 将该框架应用于现实场景，如医疗诊断，通过具体示例说明理论结果。

(a) Scenario 1: Combined system has higher loss than either unaided human or algorithm.

实验结果

研究问题

• RQ1 在何种条件下，人机系统可实现互补性，即其期望损失低于任一组件单独运行时的损失？
• RQ2 互补性在理论上为何不可能发生？损失分布的何种结构性特征会阻止互补性的实现？
• RQ3 联合系统的损失差异与单独运行的人类或算法相比如何？
• RQ4 是否可以在不加剧对受保护子群体不公平性的情况下实现互补性？
• RQ5 哪些设计原则可确保协作在提升性能的同时不恶化公平性？

主要发现

• 当人类或算法在最高损失和最低损失两个极端模式下均全面主导另一方时，互补性不可能实现。
• 当输入子群体之间的损失率高度可变时，互补性更易实现，尤其是当性能在不同模式间存在显著差异时。
• 联合系统的损失差异可能超过两个单独组件的差异，如表7所示，其中 εc = 0.84 > max(εh=0.8, εa=0.83)。
• 引理5表明，若人类和算法在两个极端模式中均未占据主导地位，则联合系统的损失差异被限制在两个单独系统差异的最大值之内。
• 该框架揭示了公平性与互补性之间可能存在张力，因为降低整体损失可能加剧某些受保护群体的损失差异。
• 从业者可利用引理5的条件设计算法，在实现互补性的同时避免公平性恶化。

(b) Scenario 2: Combined system has lower loss than unaided human, but higher loss than algorithm.