[论文解读] Designing Algorithmic Recommendations to Achieve Human-AI Complementarity

Bryce McLaughlin, Jann Spiess|arXiv (Cornell University)|May 2, 2024

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出了一种基于因果推断的框架，用于设计增强人机互补性的算法推荐系统，适用于二元决策场景。通过使用潜在结果和单调性假设建模人类对推荐的遵从性与响应，作者表明，旨在提供互补信息而非直接预测的算法，在一项受控的招聘实验中显著提升了人类决策表现。

ABSTRACT

Algorithms frequently assist, rather than replace, human decision-makers. However, the design and analysis of algorithms often focus on predicting outcomes and do not explicitly model their effect on human decisions. This discrepancy between the design and role of algorithmic assistants becomes particularly concerning in light of empirical evidence that suggests that algorithmic assistants again and again fail to improve human decisions. In this article, we formalize the design of recommendation algorithms that assist human decision-makers without making restrictive ex-ante assumptions about how recommendations affect decisions. We formulate an algorithmic-design problem that leverages the potential-outcomes framework from causal inference to model the effect of recommendations on a human decision-maker's binary treatment choice. Within this model, we introduce a monotonicity assumption that leads to an intuitive classification of human responses to the algorithm. Under this assumption, we can express the human's response to algorithmic recommendations in terms of their compliance with the algorithm and the active decision they would take if the algorithm sends no recommendation. We showcase the utility of our framework using an online experiment that simulates a hiring task. We argue that our approach can make sense of the relative performance of different recommendation algorithms in the experiment and can help design solutions that realize human-AI complementarity. Finally, we leverage our approach to derive minimax optimal recommendation algorithms that can be implemented with machine learning using limited training data.

研究动机与目标

• 为解决算法设计中常忽视推荐如何实际影响人类决策的问题，尤其是在人类判断仍具最终决定权的情况下。
• 在人类保有决策权威的主-agent 模型中，形式化推荐算法的设计，以实现人类与算法专长的互补。
• 开发一个显式建模人类对推荐响应（特别是遵从性与主动决策）的框架，基于因果推断原则。
• 通过实证证明，为互补性而设计的推荐算法，在人类辅助决策任务中，表现优于仅关注预测准确性的算法。
• 通过将性能分解为算法准确性与人类响应效应，提供一种系统化方法以优化推荐系统。

提出的方法

• 使用因果推断中的潜在结果框架形式化推荐设计问题，建模在不同推荐条件下的结果。
• 引入单调性假设，限制人类对推荐的响应，使得推荐仅将决策导向推荐动作。
• 将目标函数分解为两部分：(1) 直接实施算法推荐所产生的损失，以及 (2) 人类偏离推荐所产生的损失。
• 借鉴因果推断中的工具变量类比，将推荐视为影响人类决策的工具，以建模遵从行为。
• 将该框架应用于一项在线实验，模拟包含 961 名受试者的招聘任务，通过不同遵从性假设调整推荐算法。
• 实证评估不同处理组（如：预测型、互补型、分诊型）的表现，并使用理解检查验证对算法的理解是否影响结果。

实验结果

研究问题

• RQ1 如何设计推荐算法以改善人类决策，而非仅预测结果？
• RQ2 人类对算法推荐的遵从性在决定整体系统性能方面发挥何种作用？
• RQ3 在二元决策任务中，人机互补性在何种条件下出现？
• RQ4 不同算法设计（如预测型 vs. 互补型）如何影响现实世界决策场景中的人类表现？
• RQ5 人类决策者对推荐算法的理解程度在多大程度上影响人机协作的成功？

主要发现

• 与无算法的对照组或仅使用预测型算法相比，使用互补型和互补型分诊推荐算法的受试者表现显著更优，实现了人机互补。
• 互补型算法（提供支持但不主导决策的信息）在实验中表现优于所有其他测试算法。
• 预测型处理组的受试者表现与单独使用算法或单独使用人类相当，协作未带来任何改进。
• 正确理解推荐算法的受试者（通过理解问题衡量）表现出更强且更一致的绩效，支持算法透明度的重要性。
• 遵从行为总体上较为复杂——当适当情况下，受试者会否决工程类候选人的推荐，表明人类在获得互补支持时能够做出细致且情境敏感的决策。
• 该框架成功解释了不同算法的相对表现，验证了其在预测和设计高效人机协作系统方面的实用性。