[논문 리뷰] Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI

Johann Laux, Hannah Ruschemeier|arXiv (Cornell University)|2025. 02. 14.

Law, AI, and Intellectual Property인용 수 5

한 줄 요약

이 논문은 AI 법에서 자동화 편향(automation bias)이 어떻게 다뤄지는지 분석하고, 제공자(provider)와 배포자(deployer) 책임을 검토하며 AB 인식 강제의 시행을 평가하고, 조화로운 표준과 인간-인공지능 상호작용에 대한 실증적 연구를 주장한다.

ABSTRACT

This paper examines the legal implications of the explicit mentioning of automation bias (AB) in the Artificial Intelligence Act (AIA). The AIA mandates human oversight for high-risk AI systems and requires providers to enable awareness of AB, i.e., the human tendency to over-rely on AI outputs. The paper analyses the embedding of this extra-juridical concept in the AIA, the asymmetric division of responsibility between AI providers and deployers for mitigating AB, and the challenges of legally enforcing this novel awareness requirement. The analysis shows that the AIA's focus on providers does not adequately address design and context as causes of AB, and questions whether the AIA should directly regulate the risk of AB rather than just mandating awareness. As the AIA's approach requires a balance between legal mandates and behavioural science, the paper proposes that harmonised standards should reference the state of research on AB and human-AI interaction, holding both providers and deployers accountable. Ultimately, further empirical research on human-AI interaction will be essential for effective safeguards.

연구 동기 및 목표

• AI 법에 자동화 편향(AB)이 어떻게 내재되어 있는지와 그 법적 함의를 고찰한다.
• AB 완화를 위한 AI 제공자와 배포자 간 책임 분담을 평가한다.
• AB 인식 의무화의 효과성과 시행 가능성을 평가한다.
• 설계, 맥락 고려, 표준을 통한 보다 강력한 규제 경로를 제시한다.

제안 방법

• AI 법의 텍스트를 분석하여 AB 참조와 그 법적 함의를 식별한다.
• 제공자와 배포자 간의 비대칭적 책임 배분을 비판적으로 평가한다.
• 법적 관점에서 AB 인식 의무의 시행 과제를 논의한다.
• AB에 대한 법적 의무와 행동과학적 통찰 간의 상호 작용을 검토한다.
• AB 연구 및 인간–AI 상호작용을 참조하는 조화로운 표준 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 AI 법에서 자동화 편향을 명시적으로 언급하는 것이 가져오는 법적 함의는 무엇인가?
• RQ2 AI 법은 AB 완화를 위해 제공자와 배포자 간의 책임 할당을 어떻게 하는가?
• RQ3 AB 인식 의무를 법적으로 시행하는 데 어떤 과제가 발생하는가?
• RQ4 AI 법이 인식 의무만을 요구하는 대신 AB 위험을 직접 규제해야 하는가?
• RQ5 AB에 대한 효과적인 안전장치를 지원하기 위해 어떤 표준이나 실증 연구가 필요하인가?

주요 결과

• AI 법의 제공자 중심은 AB의 원인으로서 설계 및 맥락을 충분히 다루지 못한다.
• AB 위험을 단지 인식 의무가 아니라 직접 규제해야 하는지에 대한 해석의 여지가 있다.
• AB 인식 의무의 시행은 실무적 및 법적 장애물에 직면해 있다.
• 조화로운 표준은 현재의 AB 및 인간–AI 상호작용 연구를 참조해야 한다.
• 수정된 규제 체계에서 제공자와 배포자 모두에게 책임을 묻는 것이 타당하다.
• 효과적인 안전장치를 위한 인간–AI 상호작용에 대한 추가 실증 연구가 필수적이다.