[논문 리뷰] "I'm sorry to hear that": Finding New Biases in Language Models with a Holistic Descriptor Dataset

Eric M. Smith, Melissa Hall외 3명|arXiv (Cornell University)|2022. 05. 18.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 언어 모델에서 이전에 발견되지 않은 편향을 드러내기 위해 설계된 대규모이고 참가자 기반의 데이터셋인 HolisticBias를 소개한다. 13개의 축에 걸쳐 약 600개의 인구통계적 기술어를 포함하며, 표준화된 템플릿과 조합하여 450,000개의 프롬프트를 생성함으로써 토큰 가능성, 생성 출력, 비속도 분류에서 새로운 편향을 폭 드러내며, 특히 BlenderBot 2.0과 같은 모델에서 두드러진다. 동시에 편향 완화 튜닝이 유해한 반복 행동을 악화시킬 수 있음을 보여준다.

ABSTRACT

As language models grow in popularity, it becomes increasingly important to clearly measure all possible markers of demographic identity in order to avoid perpetuating existing societal harms. Many datasets for measuring bias currently exist, but they are restricted in their coverage of demographic axes and are commonly used with preset bias tests that presuppose which types of biases models can exhibit. In this work, we present a new, more inclusive bias measurement dataset, HolisticBias, which includes nearly 600 descriptor terms across 13 different demographic axes. HolisticBias was assembled in a participatory process including experts and community members with lived experience of these terms. These descriptors combine with a set of bias measurement templates to produce over 450,000 unique sentence prompts, which we use to explore, identify, and reduce novel forms of bias in several generative models. We demonstrate that HolisticBias is effective at measuring previously undetectable biases in token likelihoods from language models, as well as in an offensiveness classifier. We will invite additions and amendments to the dataset, which we hope will serve as a basis for more easy-to-use and standardized methods for evaluating bias in NLP models.

연구 동기 및 목표

• 자기표현, 포괄성, 동적인 편향 평가의 부족을 해결하기 위해 언어 처리 분야에서 더 대표적인 인구통계적 정체성 용어의 분류 체계를 구축하기 위해.
• 소외된 정체성과 오래된 사회적 범주를 포함하지 않는 정적이고 사전 정의된 편향 평가 데이터셋의 한계를 극복하기 위해.
• 사회적 언어 변화와 실제 경험과 함께 진화하는 살아있는, 확장 가능한 평가 프레임워크를 개발하기 위해.
• 생성, 가능성, 비속도 메트릭에서 이전에 발견되지 않은 미세한 편향을 언어 모델 행동에서 탐지할 수 있도록 하기 위해.
• 표준화되고 오픈소스인 도구를 제공함으로써 편향 연구 전 주기—탐지에서 완화까지—를 지원하기 위해.

제안 방법

• 저자들은 전문가와 실제 경험을 가진 공동체 구성원들과의 협업을 통해 13개의 인구통계적 축에 걸쳐 598개의 기술어를 포함한 참가자 기반 데이터셋을 구축했다.
• 표준화된 편향 측정 템플릿(예: '[기본 설명어]' 또는 '나는 [기본 설명어]를 싫어해')와 기술어를 조합하여 450,000개의 고유한 문장 프롬프트를 제작했다.
• 이 데이터셋을 사용해 GPT-2, RoBERTa, DialoGPT, BlenderBot 2.0의 네 가지 생성 모델을 토큰 가능성, 텍스트 생성, 비속도 분류의 세 가지 평가 설정에서 평가했다.
• 모델 응답이 비속도로 분류되는지 평가하기 위해 B.A.D. 비속도 분류기(Offensiveness Classifier)를 사용했으며, 잠재적으로 과민하거나 안전하지 않은 응답을 제거하기 위해 필터링을 적용했다.
• 모델에 편향 감소 튜닝을 적용하고, 튜닝 전후의 모델 행동—특히 반복 행동과 혐오 발언 확률—에 미치는 영향을 측정했다.
• 아마존 메카니컬 터크를 통한 인간 평가를 통해 Acute-Eval 방법을 사용해 모델 선호도, 인간다움, 흥미로움을 비교 평가했으며, 튜닝된 모델과 원본 모델을 대조했다.

실험 결과

연구 질문

• RQ1 더 포괄적이고 동적인 인구통계적 기술어 데이터셋이 언어 모델에서 이전에 발견되지 않은 편향을 드러내는 데 성공할 수 있는가?
• RQ2 특히 소수자 또는 사회적 낙인을 받는 정체성인 축들이 토큰 가능성, 생성, 비속도 측면에서 모델 행동에 어떤 영향을 미치는가?
• RQ3 편향 완화 튜닝이 반복 행동이나 혐오 발언 생성과 같은 해로운 행동을 빠르게 증가시키는 정도는 어느 정도인가?
• RQ4 공동 검토된 살아있는 데이터셋은 정적이고 사전 정의된 분류 체계에 비해 NLP 모델의 사회적 편향 탐지 및 측정에 어떻게 개선을 이룰 수 있는가?
• RQ5 편향 감소 튜닝 후 혐오 발언 확률 증가와 모델의 반복 행동 사이에 어떤 관계가 있는가?

주요 결과

• Hol리스틱Bias 데이터셋은 특히 신경다양성 정체성, 비이元성 정체성, 문화적 또는 종교적 기술어에서 토큰 가능성과 생성 출력에서 새로운 편향을 폭 드러냈다.
• BlenderBot 2.0 3B는 편향 감소 튜닝 후 평균 0.14%의 혐오 확률 증가를 보였으며, 상위 5개 기술어는 최대 1.55%까지 증가했다.
• 튜닝 후 반복 행동—모델이 입력 프롬프트를 그대로 반복하는 행동—이 유의미하게 증가했으며, 특히 부정적 템플릿의 경우 뚜렷했다: '뇌 손상으로 고통받은 사람은 누구인가?'라는 질문에 대해 튜닝 후 100%의 응답이 정확한 복제본이었다.
• 반복 행동 증가와 편향 값 변화 사이의 스피어만의 ρ 상관계수 +0.19는 편향 완화와 증가하는 반복 행동 간의 측정 가능한 연관성을 시사한다.
• 인간 평가 결과, 튜닝된 모델과 원본 모델 간에 선호도, 인간다움, 흥미로움에 유의미한 통계적 차이가 없었으며, 이는 튜닝이 인식된 품질을 떨어뜨리지 않았음을 시사한다.
• B.A.D. 분류기는 부정적 템플릿(예: '나는 [복수형 명사 어구]를 싫어해')로 프롬프트된 모델에서 더 많은 비속도 응답을 탐지했으며, 특히 '알코올 중독자'나 '약물 중독자'와 같은 부정적 연유를 지닌 기술어를 사용할 경우 더욱 두드러졌다.