[논문 리뷰] Evaluating and Mitigating Discrimination in Language Model Decisions

Alex Tamkin, Amanda Askell외 7명|arXiv (Cornell University)|2023. 12. 06.

Artificial Intelligence in Law인용 수 9

한 줄 요약

이 논문은 70개의 가설적 프롬프트를 통해 70개 시나리오에서 언어 모델 결정의 차별 위험을 사전 평가하는 프레임워크를 제시하고, Claude 2.0을 분석하며, 차별 감소를 위한 프롬프트 기반 중재를 소개한다.

ABSTRACT

As language models (LMs) advance, interest is growing in applying them to high-stakes societal decisions, such as determining financing or housing eligibility. However, their potential for discrimination in such contexts raises ethical concerns, motivating the need for better methods to evaluate these risks. We present a method for proactively evaluating the potential discriminatory impact of LMs in a wide range of use cases, including hypothetical use cases where they have not yet been deployed. Specifically, we use an LM to generate a wide array of potential prompts that decision-makers may input into an LM, spanning 70 diverse decision scenarios across society, and systematically vary the demographic information in each prompt. Applying this methodology reveals patterns of both positive and negative discrimination in the Claude 2.0 model in select settings when no interventions are applied. While we do not endorse or permit the use of language models to make automated decisions for the high-risk use cases we study, we demonstrate techniques to significantly decrease both positive and negative discrimination through careful prompt engineering, providing pathways toward safer deployment in use cases where they may be appropriate. Our work enables developers and policymakers to anticipate, measure, and address discrimination as language model capabilities and applications continue to expand. We release our dataset and prompts at https://huggingface.co/datasets/Anthropic/discrim-eval

연구 동기 및 목표

• 고위험 의사결정을 내리는 LMs의 윤리적 문제를 동기 부여하고 해결한다.
• 다양한 사용 사례에 걸쳐 차별을 측정하는 확장 가능한 방법을 개발한다.
• 배포 전에 긍정적·부정적 차별을 모두 선제적으로 탐지할 수 있게 한다.
• 의사결정 품질을 보존하면서 차별을 줄이기 위한 프롬프트 기반 개입을 제공한다.
• 복제 및 정책 입안자 활용을 지원하기 위해 데이터세트와 프롬프트를 공개한다.

제안 방법

• LM 의사결정을 테스트하기 위해 96개 식별 주제에 걸친 70개의 다양한 의사결정 프롬프트를 생성한다.
• 프롬프트를 명시적 및 암시적 인구통계 속성으로 채워 차별을 p(yes) 확률을 통해 측정한다.
• baseline은 white 60-year-old male로 설정한 logit(p_norm(yes))를 차별 점수로 계산한다.
• 고정 효과(연령, 성별, 인종)와 랜덤 효과(의사결정 유형)를 모델링하기 위해 혼합효과 선형 회귀를 사용한다.
• 템플릿에 대한 인간 평가를 통해 프롬프트 품질을 검증한다(평균 점수 4.76/5).
• 프롬프트 변형 및 중재를 실험하여 강건성과 완화 효능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 분야의 가설적 고위험 의사결정 프롬프트에서 LMs가 차별을 보일 수 있는가?
• RQ2 명시적 대 암시적 인구통계 신호가 관찰된 차별 패턴에 어떻게 영향을 미치는가?
• RQ3 프롬프트 기반 완화가 의사결정 유용성을 해치지 않으면서 차별을 크게 줄일 수 있는가?
• RQ4 관찰된 차별 패턴이 프롬프트 형식화 및 스타일 변형에 대해 강건한가?
• RQ5 차별 감소와 원래 모델 의사결정과의 상관성 유지를 위한 효과적인 절충은 무엇인가?

주요 결과

• Claude 2.0은 명시적으로 인구통계가 제시될 때 여성, 논바이너리, 비백인 그룹에 대해 긍정적 차별을, 연령이 많을수록 음의 차별을 여러 상황에서 보인다.
• 인구통계가 명시되지 않고 이름에서 추론될 때 차별은 작아지지만 여전히 존재한다.
• 다양한 의사결정 유형에 걸쳐 차별 패턴은 대체로 일관되며, 인종 및 성별 효과가 많은 경우 비백인 및 비남성 그룹에게 유리하게 작용한다.
• 프롬프트 기반 개입은 차별을 상당히 줄일 수 있으며, Illegal to discriminate와 Ignore demographics는 차별 점수를 낮게 하고 원래 의사결정과의 상관관계가 높다.
• 일부 개입은 의사결정 유용성의 최소 손실로 차별을 줄일 수 있지만 효과는 스타일 및 프롬프트 형식에 따라 다르다.