[論文レビュー] Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI

Johann Laux, Hannah Ruschemeier|arXiv (Cornell University)|Feb 14, 2025

Law, AI, and Intellectual Property被引用数 5

ひとこと要約

本論文はAI法における自動化バイアスの扱いを分析し、提供者と展開者の責任の分担とABの認知の実効性の強制を検討し、調和の取れた基準と人間とAI の相互作用に関する実証的研究を主張している。

ABSTRACT

This paper examines the legal implications of the explicit mentioning of automation bias (AB) in the Artificial Intelligence Act (AIA). The AIA mandates human oversight for high-risk AI systems and requires providers to enable awareness of AB, i.e., the human tendency to over-rely on AI outputs. The paper analyses the embedding of this extra-juridical concept in the AIA, the asymmetric division of responsibility between AI providers and deployers for mitigating AB, and the challenges of legally enforcing this novel awareness requirement. The analysis shows that the AIA's focus on providers does not adequately address design and context as causes of AB, and questions whether the AIA should directly regulate the risk of AB rather than just mandating awareness. As the AIA's approach requires a balance between legal mandates and behavioural science, the paper proposes that harmonised standards should reference the state of research on AB and human-AI interaction, holding both providers and deployers accountable. Ultimately, further empirical research on human-AI interaction will be essential for effective safeguards.

研究の動機と目的

• 自動化バイアス（AB）がAI法にどのように組み込まれ、その法的影響はどうなるかを検討する。
• ABを緩和するためのAI提供者と展開者の責任分担を評価する。
• AB認知を義務付けることの効果と、その強制力の実現可能性を評価する。
• 設計・文脈配慮・基準を通じたより強固な規制への道筋を提案する。

提案手法

• AI法の文言を分析し、ABの言及と法的意味を特定する。
• 提供者と展開者の責任配分の非対稱性を批判的に評価する。
• AB認知要件の法的強制の課題を論じる。
• ABに関する法的義務と行動科学の見解の相互作用を検討する。
• AB研究と人間–AIの相互作用を参照した調和された基準の枠組みを提案する。

実験結果

リサーチクエスチョン

• RQ1 AI法で自動化バイアスを明示的に言及することの法的影響は何か？
• RQ2 AI法はABの緩和責任を提供者と展開者の間でどのように割り当てているか？
• RQ3 AB認知要件を法的に強制する際にどのような課題が生じるか？
• RQ4 AI法は認知の義務を課すだけでなく、ABリスクを直接規制すべきか？
• RQ5 ABに対する効果的な保護措置を支えるために、どのような基準や実証的研究が必要か？

主な発見

• AI法が提供者に焦点を当てていることは、ABの原因としての設計と文脈を十分には扱っていない。
• ABリスクを直接規制すべきか、それとも認知のみを義務づけるべきかという未解決の問題がある。
• AB認知要件の強制には実務的・法的障害がある。
• 調和された基準は現在のABおよび人間–AI相互作用の研究を参照すべきである。
• 改訂された規制フレームワークの下で、提供者と展開者の双方が責任を負うべきである。
• 効果的な保護措置のためには、人間–AI相互作用に関するさらなる実証的研究が不可欠である。