[논문 리뷰] Investigating Implicit Bias in Large Language Models: A Large-Scale Study of Over 50 LLMs

Divyanshu Kumar, Umang Jain외 2명|arXiv (Cornell University)|2024. 10. 13.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 대규모 연구는 LLM 암묵적 연합 테스트(IAT) 편향 및 LLM 의사결정 편향 프레임워크를 사용하여 50개 이상의 대규모 언어 모델에서 암묵적 편향을 조사한다. 연구 결과, 더 최신이거나 더 큰 모델일수록 이전 모델에 비해 높은 암묵적 편향을 보이는 경향이 있으며, 이는 모델 크기를 늘리되 의도적인 완화 조치를 취하지 않을 경우 기존의 편향이 악화될 수 있음을 시사한다. 이는 LLM 개발 분야에서 표준화된 편향 평가와 능동적인 공정성 조치의 긴급한 필요성을 강조한다.

ABSTRACT

Large Language Models (LLMs) are being adopted across a wide range of tasks, including decision-making processes in industries where bias in AI systems is a significant concern. Recent research indicates that LLMs can harbor implicit biases even when they pass explicit bias evaluations. Building upon the frameworks of the LLM Implicit Association Test (IAT) Bias and LLM Decision Bias, this study highlights that newer or larger language models do not automatically exhibit reduced bias; in some cases, they displayed higher bias scores than their predecessors, such as in Meta's Llama series and OpenAI's GPT models. This suggests that increasing model complexity without deliberate bias mitigation strategies can unintentionally amplify existing biases. The variability in bias scores within and across providers underscores the need for standardized evaluation metrics and benchmarks for bias assessment. The lack of consistency indicates that bias mitigation is not yet a universally prioritized goal in model development, which can lead to unfair or discriminatory outcomes. By broadening the detection of implicit bias, this research provides a more comprehensive understanding of the biases present in advanced models and underscores the critical importance of addressing these issues to ensure the development of fair and responsible AI systems.

연구 동기 및 목표

• 모델 크기와 연령에 따라 대규모 언어 모델에서 암묵적 편향의 존재와 변화를 조사하기 위해.
• 더 크거나 더 최신의 LLM이 본질적으로 편향을 줄이는가를 평가하여 스케일이 공정성을 향상시킨다는 가정을 도전하기 위해.
• 비공개, 블랙박스 모델에서 암묵적 편향을 탐지하기 위한 LLM IAT 편향 및 LLM 의사결정 편향 프레임워크의 효과성을 평가하기 위해.
• 특히 최신 모델 훈련에서 합성 데이터 사용과 관련된 편향 증폭 패턴을 규명하기 위해.
• LLM 개발 및 구현에서 공정성을 보장하기 위해 표준화된, 투명한 편향 평가 기준을 도입할 것을 촉구하기 위해.

제안 방법

• 암묵적 연합을 측정하기 위해 LLM 암묵적 연합 테스트(IAT) 편향 프레임워크를 적용하여 성별, 인종 등 인구통계적 특성과 정서적 어조어(예: '아름다운' 대비 '끔찍한') 간의 관계를 분석하였다.
• 모델이 스테레오타입과 반스테레오타입 문장 쌍 중에서 선호하는 경향을 평가하기 위해 LLM 의사결정 편향 지표를 활용하였다.
• 모델 가중치가 필요 없는 프롬프트 기반 평가를 통해 메타(Llama), 오픈AI(GPT), 기타 기업의 50개 이상의 LLM에 대해 대규모 추론을 수행하였다.
• 인종, 성별, 사회경제적 배경을 포함한 표준화된 프롬프트를 활용해 모델 응답을 수집하고 분석하여 편향 패턴을 유추하였다.
• 모델 가족, 크기, 출시 일자를 기준으로 편향 점수를 비교하여 편향의 진화 추세를 규명하였다.
• 최신 모델에서 관찰된 성능 및 훈련 데이터 패턴과의 상관관계를 바탕으로, 합성 데이터 노출이 더 높은 편향을 유발하는 주요 원인일 것이라는 가설을 수립하였다.

Figure 1: Bias Evaluation Pipeline

실험 결과

연구 질문

• RQ1 더 크거나 더 최신의 LLM이 낮은 암묵적 편향을 보이는가, 아니면 모델 스케일이 기존의 편향을 악화시키는가?
• RQ2 다양한 LLM 제공업체 및 모델 아키텍처 간에 암묵적 편향 점수가 일관된가?
• RQ3 합성 훈련 데이터와 모델 파인튜닝이 최신 모델에서 증가한 암묵적 편향에 어느 정도 기여하는가?
• RQ4 LLM IAT 및 의사결정 편향과 같은 프롬프트 기반 평가 프레임워크가 블랙박스 LLM에서 암묵적 편향을 신뢰성 있게 탐지할 수 있는가?
• RQ5 실제 LLM 구현에서 편향 점수의 일관성 부족은 공정성과 책임성에 어떤 영향을 미치는가?

주요 결과

• 메타의 Llama 시리즈와 오픈AI의 GPT 모델을 포함한 최신 및 더 큰 LLM은 이전 모델에 비해 높은 암묵적 편향 점수를 보이며, 스케일이 편향을 줄인다는 가정을 뒤집는 결과를 보였다.
• 모델 크기나 출시 일자와 관계없이 편향이 일관되게 감소하지 않음을 확인하여, 암묵적 편향이 스케일링을 통해 자동으로 완화되지 않음을 시사하였다.
• 동일한 제공업체에서 나온 모델 간에 편향 점수의 변동이 심각하게 나타나, 모델 개발 프로세스에서 표준화된 편향 완화 조치가 부족함을 시사하였다.
• 연구진은 최신 모델 훈련에서 합성 데이터 사용 증가가 더 높은 암묵적 편향을 유발할 수 있다고 가설을 제시하였지만, 이는 향후 검증이 필요하다.
• LLM IAT 및 의사결정 편향 프레임워크는 비공개, API 접근 가능한 LLM에서 암묵적 편향을 효과적으로 탐지할 수 있었으며, 대규모 블랙박스 평가가 가능함을 입증하였다.
• 연구 결과는 LLM 개발에서 표준화되고 투명하며 의무적인 편향 평가 기준이 필수적임을 강조하며, 공정성을 확보하고 차별적 결과를 방지하기 위한 중요성을 제기한다.