[논문 리뷰] Causally Testing Gender Bias in LLMs: A Case Study on Occupational Bias

Chen, Yuen, Raghuram, Vethavikashini Chithrra외 3명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 대규모 언어 모델에서 성별 편향을 측정하고 완화하기 위한 강건한 프레임워크를 제안한다. 특히 GPT-3의 직업적 스테레오타입에 초점을 맞추며, 통제된 인과적 프롬프팅 기법을 사용하여, 미세조정 없이도 특정 프롬프트가 자연스러운 텍스트 생성을 유지하면서도 이진 범주를 초월한 포괄적인 성별 표현을 가능하게 함을 입증한다.

ABSTRACT

Generated texts from large language models (LLMs) have been shown to exhibit a variety of harmful, human-like biases against various demographics. These findings motivate research efforts aiming to understand and measure such effects. This paper introduces a causal formulation for bias measurement in generative language models. Based on this theoretical foundation, we outline a list of desiderata for designing robust bias benchmarks. We then propose a benchmark called OccuGender, with a bias-measuring procedure to investigate occupational gender bias. We test several state-of-the-art open-source LLMs on OccuGender, including Llama, Mistral, and their instruction-tuned versions. The results show that these models exhibit substantial occupational gender bias. Lastly, we discuss prompting strategies for bias mitigation and an extension of our causal formulation to illustrate the generalizability of our framework. Our code and data https://github.com/chenyuen0103/gender-bias.

연구 동기 및 목표

• 언어 모델의 성별 편향을 측정하는 데 있어 기존 벤치마크에서 발생하는 높은 실험적 노이즈와 신뢰할 수 없는 메트릭스 문제를 해결하기 위해.
• 프롬프트 어휘나 모델 변동성과 같은 혼란 변수로부터 분리된 스테레오타입적 연관성을 고립하는 강력하고 인과적인 평가 프레임워크를 개발하기 위해.
• 미세조정 없이도 프롬프팅 기법이 GPT-3의 직업적 성별 편향을 줄일 수 있는지 조사하기 위해.
• 오픈엔드드 및 대화 기반 설정을 포함한 다양한 생성 유형에서 디 biasesing 효과의 일반화 및 지속성 평가하기 위해.
• 디 biasesing 프롬프트가 모델 생성물에 의도하지 않은 부작용을 유도하는지 평가하기 위해, 예를 들어 성별 주제에 대한 과도한 집중 여부를 확인하기 위해.

제안 방법

• 혼란 변수를 통제함으로써 인구통계적 연관성을 고립하는 인과적, 컨텍스트 기반 프롬프팅 프레임워크를 제안한다.
• 스테레오타입적 대비 반스테레오타입적 직업-성별 조합에 대한 모델의 확률을 측정하기 위해 표준화된 프롬프트 세트를 사용하며, 문법적 및 의미적 구조를 통제한다.
• 편향을 정량화하기 위해 마스킹된 확률 추정 방법을 활용하여, 외부 평가 도구에서 기인하는 노이즈를 최소화한다.
• 명시적 지시에서 추상적 개념적 프레임워킹에 이르기까지 다양한 프롬프팅 전략을 적용하여 그들의 디 biasesing 효과를 평가한다.
• 다양한 모델 버전(Davinci, Curie 등)과 생성 모드(오픈엔드드, 대화형)에서 체계적인 에이블레이션 연구를 수행하여 강건성 평가를 수행한다.
• 수동 평가를 통해 생성된 텍스트를 검토하여, 디 biasesing 프롬프트에서 기인할 수 있는 의도하지 않은 부작용을 탐지한다.

실험 결과

연구 질문

• RQ1 기존 언어 모델의 성별 편향 측정을 위한 벤치마크에서 측정 노이즈와 신뢰할 수 없는 메트릭스 문제는 어느 정도 심각한가?
• RQ2 인과적이고 통제된 프롬프팅 프레임워크는 LLM에서 직업적 성별 편향을 더 강건하고 신뢰성 있게 측정할 수 있는가?
• RQ3 어떤 유형의 프롬프팅 전략이 GPT-3의 성별과 직업 간의 스테레오타입적 연관성을 가장 효과적으로 감소시키는가?
• RQ4 오픈엔드드 텍스트 생성 및 다중턴 대화 설정과 같은 다양한 생성 모드에서 디 biasesing 효과가 지속되는가?
• RQ5 디 biasesing 프롬프트는 모델 출력에서 성별 주제에 대한 집중도 증가와 같은 의도하지 않은 부작용을 유도하는가?

주요 결과

• 제안된 프레임워크는 이전의 벤치마크에 비해 측정 노이즈를 크게 감소시켜 언어 모델 내 스테레오타입적 연관성의 신뢰성 있는 정량화를 가능하게 한다.
• 특정 프롬프트—특히 추상적 또는 개념적 프레임워킹을 사용한 것—은 GPT-3의 직업적 성별 편향을 감소시키며, 일부 경우에서 성별 간 균형 잡힌 연관성 비율을 달성한다.
• 대화 설정에서는 디 biasesing 효과가 일관되게 유지되지 않으며, 대화 턴이 진행될수록 모델이 편향된 연관성으로 되돌아가는 경향이 있다.
• 남성 우세 직업에 여성의 참여를 늘리는 프롬프트는 효과적이지만, 여성 우세 직업에 남성의 참여를 증가시키는 데에는 어떤 프롬프트도 유의미한 효과를 보이지 않아, 편향 완화에서 비대칭성이 존재함을 시사한다.
• 디 biasesing 프롬프트는 오픈엔드드 생성물의 내용을 변화시키지 않으며, 수동 평가 결과 주제 집중도나 성별 부각도의 눈에 띄는 변화가 없음을 확인했다.
• 이 프레임워크는 비이원성 및 전통적이지 않은 성별 정체성을 직업적 연관성에 포함시킬 수 있어, 더 넓은 포용성 잠재력을 보여준다.