[논문 리뷰] Hi, my name is Martha: Using names to measure and mitigate bias in generative dialogue models

Eric M. Smith, Adina Williams|arXiv (Cornell University)|2021. 09. 07.

Authorship Attribution and Profiling참고 문헌 83인용 수 12

한 줄 요약

이 논문은 성별 및 인종에 대한 편향을 측정하고 완화하기 위한 새로운 방법을 제안하며, 언어적 지표로 이름을 사용하여 인구 통계적 신원을 대체한다. 더 큰 모델일수록 성별에 대한 고정관념이 더 강하게 나타나며, 이름 뒤섞기, 통제된 생성, 불가능성 학습 등의 효과적인 편향 완화 기법을 평가하여 모델 응답의 토큰 수준 및 시퀀스 수준 편향을 감소시킨다.

ABSTRACT

All AI models are susceptible to learning biases in data that they are trained on. For generative dialogue models, being trained on real human conversations containing unbalanced gender and race/ethnicity references can lead to models that display learned biases, which we define here broadly as any measurable differences in the distributions of words or semantic content of conversations based on demographic groups. We measure the strength of such biases by producing artificial conversations between two copies of a dialogue model, conditioning one conversational partner to state a name commonly associated with a certain gender and/or race/ethnicity. We find that larger capacity models tend to exhibit more gender bias and greater stereotyping of occupations by gender. We show that several methods of tuning these dialogue models, specifically name scrambling, controlled generation, and unlikelihood training, are effective in reducing bias in conversation, including on a downstream conversational task. Name scrambling is also effective in lowering differences in token usage across conversations where partners have names associated with different genders or races/ethnicities.

연구 동기 및 목표

• 생성 대화 모델이 첫 이름에 연관된 성별 및 인종/민족에 따라 응답에 편향을 보이는지 조사하기.
• 실제로 알려진 인구 통계적 연관성이 있는 이름을 조건으로 삼아 모델 인스턴스 간 인공적 자가 대화를 기반으로 한 새로운 벤치마킹 방법 개발 및 평가하기.
• 이름 뒤섞기, 통제된 생성, 불가능성 학습 등의 여러 완화 전략이 대화 생성에서 성별 및 교차 편향을 줄이는 데 얼마나 효과적인지 평가하기.
• 모델 크기가 대화 출력에서 학습된 성별 및 인종 편향의 강도에 미치는 영향을 조사하기.
• 성별 편향을 감소시키는 편향 완화 기법이 모델 응답에서 인종화된 편향까지도 완화하는지 탐색하기.

제안 방법

• 저자들은 한 모델 인스턴스가 특정 성별 또는 인종/민족과 통계적으로 연관된 이름을 사용해 자신을 소개하도록 조건화하고, 다른 모델은 자연스럽게 응답하도록 하여 자가 대화 실험을 수행한다.
• 성별 및 인종/민족에 따라 분류된 이름 목록(예: 라토니아는 흑인 여성, 마더는 백인 여성)을 활용하여 다양한 대화 상대를 시뮬레이션한다.
• 편향은 토큰 수준 및 시퀀스 수준 메트릭을 통해 측정되며, 이름 조건화된 대화 간 어휘 사용 및 의미적 내용의 차이를 분석한다.
• 논문은 세 가지 완화 전략을 평가한다: 이름 뒤섞기(이름 순서를 무작위로 변경하여 인구 통계적 연관성 해체), 통제된 생성(성격 조건화를 사용해 응답 유도), 불가능성 학습(일반적으로 발생하지만 편향적인 출력에 대해 펐다).
• 모델의 인간다움과 선호도 평가를 위해 인간 평가와 ACUTE-Eval을 사용하며, 평가자들이 평등 원칙에 얼마나 부합하는지에 따라 결과를 분류한다.
• 이 방법은 응답이 겹치는 신분(예: 흑인 여성, 아시아계 미국계 남성)과 관련된 이름을 분석함으로써 교차 편향 측정이 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 대화 모델이 특정 성별이나 인종과 관련된 고정관념이 있는 이름으로 소개될 경우 다른 응답을 보이는가?
• RQ2 모델 크기가 직업 및 사회적 역할 연관성에서 성별 고정관념 강도와 상관관계가 있는가?
• RQ3 이름 뒤섞기, 통제된 생성, 불가능성 학습이 대화 생성에서 성별 및 인종화된 편향을 어느 정도 감소시키는가?
• RQ4 성별 편향을 감소시키는 편향 완화 기법이 모델 출력에서 인종 편향까지도 완화하는가?
• RQ5 평등 원칙에 따라 다양한 정도로 동의하는 인간 평가자들은 모델 응답의 공정성과 인간다움을 어떻게 평가하는가?

주요 결과

• 더 큰 언어 모델일수록 특히 성별에 따른 직업 고정관념에서 뚜렷한 성별 편향을 보인다.
• 이름 뒤섞기는 토큰 수준 및 시퀀스 수준의 편향을 효과적으로 감소시키며, 특히 성별이나 인종이 다른 이름에 대한 응답에서 두드러진다.
• 통제된 생성과 불가능성 학습도 편향 감소에 기여하며, 불가능성 학습은 편향된 응답의 발생 가능성을 낮추는 데 뛰어난 성능을 보인다.
• 완화 전략은 다양한 인구 통계적 연관성이 있는 이름을 사용한 대화 간 어휘 사용 및 의미적 내용의 차이를 줄인다.
• 인간 평가 결과, 편향 제거된 모델은 특히 평등 원칙에 부합하는 평가자들 사이에서 더 인간다운 것으로 평가되고 선호된다.
• 연구 결과, 성별 편향에 효과적인 편향 완화 기법이 인종화된 편향까지도 감소시킴을 확인하여 이러한 방법이 다양한 인구 집단에 걸쳐 유의미한 이점을 제공할 수 있음을 시사한다.