[논문 리뷰] Intersectional Bias in Causal Language Models

Liam Magee, Lida Ghahremanlou외 2명|arXiv (Cornell University)|2021. 07. 16.

Topic Modeling참고 문헌 47인용 수 13

한 줄 요약

이 논문은 GPT-2 및 GPT-NEO 모델에서 성별, 종교, 장애와 같은 사회적 범주를 조합한 프롬프트를 사용해 텍스트를 생성하고, 감성 분석을 통해 교차적 편향이 존재하는지 조사한다. 결과적으로 단일 및 교차 범주에서 편향이 지속되며, 모델 크기와 맥락에 영향을 받지 않고, 예측 불가능하고 가산적이지 않은 방식으로 나타나며, 이는 단일 범주 기반 접근 방식을 초월한 대응 전략이 필요하다는 것을 시사한다.

ABSTRACT

To examine whether intersectional bias can be observed in language generation, we examine \emph{GPT-2} and \emph{GPT-NEO} models, ranging in size from 124 million to ~2.7 billion parameters. We conduct an experiment combining up to three social categories - gender, religion and disability - into unconditional or zero-shot prompts used to generate sentences that are then analysed for sentiment. Our results confirm earlier tests conducted with auto-regressive causal models, including the \emph{GPT} family of models. We also illustrate why bias may be resistant to techniques that target single categories (e.g. gender, religion and race), as it can also manifest, in often subtle ways, in texts prompted by concatenated social categories. To address these difficulties, we suggest technical and community-based approaches need to combine to acknowledge and address complex and intersectional language model bias.

연구 동기 및 목표

• 다양한 사회적 범주(성별, 종교, 장애)를 프롬프트에 조합했을 때 인과적 언어 모델에서 교차적 편향이 발생하는지 조사하는 것.
• 이 모델들에서 편향이 모델 크기 증가와 훈련 데이터 다양성 증가에 저항하는지 평가하는 것.
• 교차 사회 정체성에 적용했을 때 단일 범주 기반 편향 보완 기법의 한계를 평가하는 것.
• NLP 시스템에서 복잡한 교차적 편향을 탐지하고 해결하기 위해 기술적 접근과 공동체 기반 접근이 필요한지 탐색하는 것.

제안 방법

• 124만에서 27억 파라미터에 이르는 GPT-2 및 GPT-NEO 모델을 사용해, 성별, 종교, 장애와 같은 최대 세 가지 사회적 범주를 조합한 제로샷, 무조건적 프롬프트에서 텍스트를 생성한다.
• 생성된 텍스트는 감성 분류 자동화 도구를 사용해 분석되어, 다양한 사회적 범주 조합 간의 편향 수준을 측정한다.
• 단일 범주와 그 교차 조합 간의 감성 점수를 비교하여, 비가산적이거나 질적으로 다른 편향 패턴을 식별한다.
• 감성 차이를 뒷받침하는 내용의 질적 변화를 분석하기 위해 토픽 모델링을 적용한다.
• 프롬프트 변형과 맥락이 편향 표현에 미치는 영향을 평가하며, 소량의 프롬프트 변경이 감성 순위에 어떻게 영향을 주는지 분석한다.
• 표준화된 편향 보고, 마법의 프롬프트, 훈련 데이터의 공동체 검증과 같은 기술적 및 공동체 기반 전략을 제안하여 공정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 여러 사회적 범주(예: 장애가 있는 여성 무슬림)의 조합이 단일 범주와 비교해 언어 모델 출력의 감성에 어떤 영향을 미치는가?
• RQ2 인과적 언어 모델에서 교차적 편향이 모델 크기와 훈련 데이터 다양성 증가에 얼마나 저항하는가?
• RQ3 사회적 범주들이 복잡하게 교차할 때 단일 범주 기반 편향 보완 기법이 효과적으로 편향을 줄일 수 있는가?
• RQ4 프롬프트 변형과 맥락은 교차 정체성 간의 편향 표현과 순위에 어떤 영향을 미치는가?
• RQ5 표준화되고 공동체 기반의 방법은 언어 모델에서 교차적 편향의 탐지 및 보완을 어떻게 향상시킬 수 있는가?

주요 결과

• 성별, 종교, 장애 범주 전반에 걸쳐 편향이 일관되게 존재하며, 종교와 장애에서 성별보다 더 강하고 지속적인 편향이 나타난다.
• 무슬림 및 대부분의 장애 관련 레이블(다운 증후군을 제외한)은 중립 또는 단일 범주 프롬프트보다 감성 점수가 유의미하게 낮게 나타난다.
• 교차적 편향은 가산적이거나 예측 가능한 패턴을 따르지 않으며, 일부 조합은 부정적 감성의 강화를 보이고, 다른 일부는 질적으로 다른 형태의 배제를 초래한다.
• 모델 크기 증가와 훈련 데이터 다양성 증가는 교차적 편향을 제거하거나 유의미하게 감소시키지 못하며, 이는 모델 아키텍처와 데이터에 깊이 뿌리내린 성격을 반영한다.
• 소량의 프롬프트 변경조차도 감성 순위와 전체적인 편향 표현을 극적으로 변화시켜 맥락 민감성과 예측 불가능성을 강조한다.
• 단일 범주 기반 편향 보완 기법은 교차적 편향을 다루기에 부적합하며, 범주 간 상호작용이 고유하고 비선형적인 편향 패턴을 생성하기 때문이다.