[논문 리뷰] Regulating AI: Applying insights from behavioural economics and psychology to the application of article 5 of the EU AI Act

Huixin Zhong, O'Neill, Eamonn외 1명|arXiv (Cornell University)|2023. 07. 24.

Digital Transformation in LawEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 행동경제학과 인지심리학을 적용하여 EU AI 법의 제5조를 명확히 하고 강화한다. '잠재적', '유도적', '기만적' 기법을 정의하고, AI가 사용할 수 있는 3종의 잠재적 기법과 5종의 유도적 기법을 식별하며, 법적 보호를 강화하기 위해 구체적인 개정안을 제안한다.

ABSTRACT

Article 5 of the European Union's Artificial Intelligence Act is intended to regulate AI use to prevent potentially harmful consequences. Nevertheless, applying this legislation practically is likely to be challenging because of ambiguously used terminologies and because it fails to specify which manipulation techniques may be invoked by AI, potentially leading to significant harm. This paper aims to bridge this gap by defining key terms and demonstrating how AI may invoke these techniques, drawing from insights in psychology and behavioural economics. First, this paper provides definitions of the terms "subliminal techniques", "manipulative techniques" and "deceptive techniques". Secondly, we identified from the literature in cognitive psychology and behavioural economics three subliminal and five manipulative techniques and exemplify how AI might implement these techniques to manipulate users in real-world case scenarios. These illustrations may serve as a practical guide for stakeholders to detect cases of AI manipulation and consequently devise preventive measures. Article 5 has also been criticised for offering inadequate protection. We critically assess the protection offered by Article 5, proposing specific revisions to paragraph 1, points (a) and (b) of Article 5 to increase its protective effectiveness.

연구 동기 및 목표

• EU AI 법 제5조에서 '잠재적', '유도적', '기만적' 기법과 같은 용어의 모호성을 해결하기 위해.
• AI 시스템이 사용자를 影향시키기 위해 악용할 수 있는 구체적인 심리적 및 행동 기법을 식별하고 정의하기 위해.
• AI가 이러한 기법을 어떻게 사용하여 피해를 초래할 수 있는지 보여주는 실질적이고 현실적인 사례 시나리오를 제시하기 위해.
• 현재 제5조의 보호 범위를 비판적으로 평가하고, 그 효과를 높이기 위한 구체적인 개정안을 제안하기 위해.
• 규제 기관, 개발자, 감사 기관이 증거 기반 기준을 통해 AI 유도 행위를 탐지하고 방지하는 데 도움이 되기 위해.

제안 방법

• 인지심리학과 행동경제학의 통찰을 바탕으로 '잠재적 기법', '유도적 기법', '기만적 기법'을 정의하였다.
• 학술 문헌을 검색하여 경험적 근거가 있는 3종의 잠재적 기법과 5종의 유도적 기법을 식별하고 분류하였다.
• 실제 응용 사례(예: 추천 시스템, 챗봇 등)에서 AI가 이러한 기법을 어떻게 실행할 수 있는지 각 기법을 가능한 구현 시나리오와 연결하여 매핑하였다.
• 제5조 제1항 (a) 및 (b) 항의 현재 문구를 분석하여 법적 보호의 격차를 평가하였다.
• 심리적 메커니즘을 기반으로 제5조의 문구를 명확성, 범위, 집행 가능성 향상을 위해 구체적인 개정안을 제안하였다.
• 사례 기반 추론을 활용하여 정의된 기법이 어떻게 사용자에게 피해를 줄 수 있는지 분석하여 규제 설계를 뒷받침하였다.

실험 결과

연구 질문

• RQ1 AI 시스템에서 '잠재적', '유도적', '기만적' 기법을 구성하는 심리적 및 행동 메커니즘은 무엇인가?
• RQ2 AI 시스템은 실생활 응용 분야에서 이러한 기법을 어떻게 실제로 구현하여 사용자의 결정에 영향을 줄 수 있는가?
• RQ3 현재 EU AI 법 제5조의 문구에서 이러한 기법에 대비한 보호 기능에 대한 주요 단점은 무엇인가?
• RQ4 제5조의 법적 어조는 이러한 AI 기반 영향력 행사 메커니즘을 더 잘 반영하고 규제하기 위해 어떻게 개선될 수 있는가?
• RQ5 현재 규제 프레임워크 하에서 식별된 기법들이 사용자에게 심각한 피해를 초래할 가능성은 어느 정도인가?

주요 결과

• 심리적 기반과 AI 구현 가능성이 있는 3종의 잠재적 기법—프라밍, 감각 과부하, 시간적 프레임링—이 식별되었다.
• 행동경제학에서 널리 지지되며 AI 시스템에 적용 가능한 5종의 유도적 기법—기본 설정 편향, 희소성, 사회적 증거, 손실 회피, 선택 구조 설계—가 발견되었다.
• 사례 시나리오는 디지털 광고, 금융 조언, 콘텐츠 추천 분야에서 AI 시스템이 이러한 기법을 활용해 사용자의 선택을 암묵적으로 유도할 수 있음을 보여주었다.
• 현재 제5조의 문구, 특히 제1항 (a) 및 (b) 항은 핵심적인 유도 메커니즘을 명확히 정의하거나 금지하지 않아 법적 보호가 부족하다.
• 손실 회피와 기본 설정 편향과 같은 심리적 메커니즘을 명시적으로 언급함으로써 제5조의 명확성과 범위를 향상시키기 위한 구체적인 문구 개선안을 제안하였다.
• 행동과학의 통찰을 규제 언어에 통합하면 AI 유도 행위 규칙의 탐지 가능성과 집행 가능성은 크게 향상될 수 있다.