[논문 리뷰] Generative Discrimination: What Happens When Generative AI Exhibits Bias, and What Can Be Done About It

Philipp Hacker|arXiv (Cornell University)|2024. 01. 01.

Impact of AI and Big Data on Business and Society인용 수 5

한 줄 요약

본 논문은 생성형 AI가 차별을 보일 수 있는 방법을 논의하고, 출력물을 분류하며, 편향을 완화하기 위한 규제 업데이트와 책임을 제안한다.

ABSTRACT

As generative Artificial Intelligence (genAI) technologies proliferate across sectors, they offer significant benefits but also risk exacerbating discrimination. This chapter explores how genAI intersects with non-discrimination laws, identifying shortcomings and suggesting improvements. It highlights two main types of discriminatory outputs: (i) demeaning and abusive content and (ii) subtler biases due to inadequate representation of protected groups, which may not be overtly discriminatory in individual cases but have cumulative discriminatory effects. For example, genAI systems may predominantly depict white men when asked for images of people in important jobs. This chapter examines these issues, categorizing problematic outputs into three legal categories: discriminatory content; harassment; and legally hard cases like unbalanced content, harmful stereotypes or misclassification. It argues for holding genAI providers and deployers liable for discriminatory outputs and highlights the inadequacy of traditional legal frameworks to address genAI-specific issues. The chapter suggests updating EU laws, including the AI Act, to mitigate biases in training and input data, mandating testing and auditing, and evolving legislation to enforce standards for bias mitigation and inclusivity as technology advances.

연구 동기 및 목표

• 생성형 AI가 차별 금지 법과 어떻게 상호작용하는지 살펴보고 격차를 식별한다.
• 두 가지 주요 차별적 출력 유형을 식별한다: 모욕적인 콘텐츠와 대표성 편향.
• 생성형 AI의 공급자와 배포자에 대한 책임을 제안하고 법적 프레임워크의 미비점을 논의한다.

제안 방법

• 문제적 생성형 AI 출력물을 차별적 콘텐츠, 괴롭힘, 불균형 콘텐츠 또는 오분류와 같은 법적 어려움 사례로 분류한다.
• 생성형 AI 출력물의 공급자와 배포자에 대한 책임 의의를 논의한다.
• 데이터 및 모델 출력의 편향을 다루기 위해 AI법을 포함한 EU 법규의 검토 및 업데이트를 제안한다.
• 편향 완화와 포용성을 위한 의무적 테스트, 감사 및 표준을 옹호한다.

실험 결과

연구 질문

• RQ1 생성형 AI가 어떤 차별적 출력물을 생성할 수 있으며, 이를 법적으로 어떻게 분류해야 하는가?
• RQ2 차별적 출력에 대해 생성형 AI 공급자와 배포자 간 책임은 어떻게 할당되어야 하는가?
• RQ3 생성형 AI 특유의 편향성과 포용성을 다루기 위해 어떤 법적 프레임워크 변화가 필요한가?
• RQ4 학습 및 입력 데이터 편향을 완화하기 위해 테스트와 감사 의무화를 어떻게 시행할 수 있는가?
• RQ5 EU 규제(예: AI Act)가 편향 완화 표준을 시행하는 데 어떤 역할을 해야 하는가?

주요 결과

• 생성형 AI 출력물은 차별적 콘텐츠, 괴롭힘이 될 수 있으며 불균형 콘텐츠나 해로운 고정관념과 같은 엄격한 법적 범주에 속할 수 있다.
• 현재의 차별 금지법과 생성형 AI 고유의 편향 사이의 정합성이 충분하지 않다.
• 차별적 출력에 대해 공급자와 배포자 모두에게 책임이 확장되어야 한다.
• AI법을 포함한 EU 법은 학습 및 입력 데이터 편향을 완화하고 테스트와 감사 의무를 부과하도록 업데이트가 필요하다.
• 기술 발전에 따라 편향 완화와 포용성 표준을 시행하기 위한 법률이 발전해야 한다.