[论文解读] Challenging the Human-in-the-loop in Algorithmic Decision-making

Sebastian Tschiatschek, Eugenia Stamboliev+3 more|arXiv (Cornell University)|May 17, 2024

Simulation Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

本文挑战了人机协同（HIL）在算法决策中（ADM）能天然确保伦理或有效结果的假设。它表明，实际决策者（PDMs）——基于算法建议做出最终决策的人——可能因价值错配和信息需求未被满足，而无意识地破坏战略决策者（SDMs）的社会目标，凸显了PDM在ADM系统中作为政治与伦理行动者的至关重要的角色，而这一角色常被低估。

ABSTRACT

We discuss the role of humans in algorithmic decision-making (ADM) for socially relevant problems from a technical and philosophical perspective. In particular, we illustrate tensions arising from diverse expectations, values, and constraints by and on the humans involved. To this end, we assume that a strategic decision-maker (SDM) introduces ADM to optimize strategic and societal goals while the algorithms' recommended actions are overseen by a practical decision-maker (PDM) - a specific human-in-the-loop - who makes the final decisions. While the PDM is typically assumed to be a corrective, it can counteract the realization of the SDM's desired goals and societal values not least because of a misalignment of these values and unmet information needs of the PDM. This has significant implications for the distribution of power between the stakeholders in ADM, their constraints, and information needs. In particular, we emphasize the overseeing PDM's role as a potential political and ethical decision maker, who acts expected to balance strategic, value-driven objectives and on-the-ground individual decisions and constraints. We demonstrate empirically, on a machine learning benchmark dataset, the significant impact an overseeing PDM's decisions can have even if the PDM is constrained to performing only a limited amount of actions differing from the algorithms' recommendations. To ensure that the SDM's intended values are realized, the PDM needs to be provided with appropriate information conveyed through tailored explanations and its role must be characterized clearly. Our findings emphasize the need for an in-depth discussion of the role and power of the PDM and challenge the often-taken view that just including a human-in-the-loop in ADM ensures the 'correct' and 'ethical' functioning of the system.

研究动机与目标

• 批判性审视实际决策者（PDMs）在算法决策（ADM）系统中的角色，尤其是在公共服务中的应用。
• 探究战略决策者（SDMs）与PDMs之间因价值错配和未满足的信息需求，如何破坏ADM中的社会目标。
• 挑战仅靠人类监督即可确保ADM系统伦理或正确运行的假设。
• 强调需要针对SDMs和PDMs的不同信息需求，设计量身定制且基于价值的解释。
• 倡导重新思考ADM治理框架中SDMs与PDMs之间的权力分配与角色清晰度。

提出的方法

• 本研究构建了一个双层ADM框架：战略决策者（SDMs）设定长期目标，而实际决策者（PDMs）基于算法建议做出最终的个体化决策。
• 引入对SDMs与PDMs之间在价值观、约束条件和信息需求方面差异所引发张力的理论与实证分析。
• 研究者在机器学习基准数据集上开展实验，模拟PDMs对算法建议的有限偏离如何显著改变系统整体结果。
• 该方法强调针对不同利益相关者角色（特别是价值观对齐与伦理决策）进行迭代、互动和动态的解释设计。
• 提出一种基于价值的解释框架，以反映PDMs的隐性战略角色及其重塑ADM结果的潜力。
• 该方法包括通过观察到的PDM决策行为建模其行为，并与SDM的既定价值观进行对比，以评估对齐程度与潜在风险。

实验结果

研究问题

• RQ1 战略决策者（SDMs）与实际决策者（PDMs）之间的价值错配，如何影响算法决策中社会目标的实现？
• RQ2 PDM对算法建议的有限但有意识的偏离，在多大程度上能改变ADM系统的整体行为与结果？
• RQ3 SDMs与PDMs在ADM中的不同信息需求是什么？解释应如何针对这些需求进行定制？
• RQ4 PDM的角色在何种方式下实际上扮演了政治与伦理决策者的角色，尽管其被定位为纠错性监督者？
• RQ5 如何设计解释，使PDM的隐性战略影响力在ADM系统中可见且可问责？

主要发现

• 实验表明，即使PDM的决策仅轻微偏离算法建议，其行为仍可能显著改变ADM系统的行为，这一发现基于基准数据集上的实验。
• SDMs与PDMs之间的价值错配可能导致权力从SDM向PDM转移，从而破坏ADM系统既定的社会目标。
• PDM未被满足的信息需求——尤其是关于社会价值观与系统动态——可能导致其决策与SDM的战略目标背道而驰。
• PDM不仅作为纠错者，更作为战略与伦理决策者发挥作用，其角色必须被正式承认，并辅以量身定制的解释支持。
• 当前的XAI方法往往未能满足PDM理解并回应社会价值观的需求，凸显了解释设计中的关键缺口。
• 本研究建议，解释应明确将PDM的角色定位为战略行动者，并包含机制以实现PDM决策与SDM意图之间的价值观推断与对齐检查。