[论文解读] Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI

Johann Laux, Hannah Ruschemeier|arXiv (Cornell University)|Feb 14, 2025

Law, AI, and Intellectual Property被引用 5

一句话总结

本文分析在 AI Act 中对自动化偏差（AB）的处理，考察提供者与部署者的责任分配及对 AB 知情义务的执法，并主张建立统一标准与对人机交互的经验研究。

ABSTRACT

This paper examines the legal implications of the explicit mentioning of automation bias (AB) in the Artificial Intelligence Act (AIA). The AIA mandates human oversight for high-risk AI systems and requires providers to enable awareness of AB, i.e., the human tendency to over-rely on AI outputs. The paper analyses the embedding of this extra-juridical concept in the AIA, the asymmetric division of responsibility between AI providers and deployers for mitigating AB, and the challenges of legally enforcing this novel awareness requirement. The analysis shows that the AIA's focus on providers does not adequately address design and context as causes of AB, and questions whether the AIA should directly regulate the risk of AB rather than just mandating awareness. As the AIA's approach requires a balance between legal mandates and behavioural science, the paper proposes that harmonised standards should reference the state of research on AB and human-AI interaction, holding both providers and deployers accountable. Ultimately, further empirical research on human-AI interaction will be essential for effective safeguards.

研究动机与目标

• 研究自动化偏差（AB）在 AI Act 中的嵌入及其法律含义。
• 评估 AI 供应商与部署者在缓解 AB 方面的责任分工。
• 评估强制 AB 知情义务及其可执行性的有效性。
• 为通过设计、情境考量与标准推动更强监管提供路径。

提出的方法

• 分析 AI Act 的文本以识别 AB 的相关表述及其法律含义。
• 批判性评估提供者与部署者之间责任分配的不对称性。
• 在法律层面讨论 AB 知情义务执行的挑战。
• 回顾法律规范与关于 AB 的行为科学见解之间的互动。
• 提出一个 harmonised standards 的框架，参考 AB 研究与人机交互。

实验结果

研究问题

• RQ1 在 AI Act 中明确提及自动化偏差的法律含义是什么？
• RQ2 AI Act 如何在提供者与部署者之间分配缓解 AB 的责任？
• RQ3 在法律强制执行 AB 知情义务时会出现哪些挑战？
• RQ4 AI Act 应直接规范 AB 风险，而不仅仅是强制知情吗？
• RQ5 需要哪些标准或经验研究来支持对 AB 的有效保护措施？

主要发现

• AI Act 对提供者的关注并未充分解决设计和情境作为 AB 成因的因素。
• 关于 AB 风险是否应直接受到规范而不仅仅是知情义务，尚存未解之处。
• 对 AB 知情义务执行的实施与法律层面都存在实际挑战。
• 统一标准应参考当前的 AB 与人机交互研究。
• 在修订的监管框架下，提供者与部署者都应承担责任。
• 对于人机交互的进一步经验研究对有效的保护措施至关重要。