[논문 리뷰] FairPy: A Toolkit for Evaluation of Prediction Biases and their Mitigation in Large Language Models

Hrishikesh Viswanath, Tianyi Zhang|arXiv (Cornell University)|2023. 02. 10.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

FairPy는 대규모 언어 모델의 편향 탐지 및 완화 기법을 분리하여 구현하는 파이썬 툴킷으로, BERT 및 GPT-2와 같은 모델에서 표준화된 메트릭을 사용해 공통된 평가를 가능하게 한다. 이 툴킷은 커스터마이징된 모델 통합, 재학습 및 후처리를 통한 완화, 그리고 성별 편향 감소(예: GPT-2에서 WEAT 점수 1.15에서 0.8로 감소)를 보여주는 실증 결과를 제공하지만, 모델 간 호환성의 일관성 문제를 드러낸다.

ABSTRACT

Recent studies have demonstrated that large pretrained language models (LLMs) such as BERT and GPT-2 exhibit biases in token prediction, often inherited from the data distributions present in their training corpora. In response, a number of mathematical frameworks have been proposed to quantify, identify, and mitigate these the likelihood of biased token predictions. In this paper, we present a comprehensive survey of such techniques tailored towards widely used LLMs such as BERT, GPT-2, etc. We additionally introduce Fairpy, a modular and extensible toolkit that provides plug-and-play interfaces for integrating these mathematical tools, enabling users to evaluate both pretrained and custom language models. Fairpy supports the implementation of existing debiasing algorithms. The toolkit is open-source and publicly available at: \href{https://github.com/HrishikeshVish/Fairpy}{https://github.com/HrishikeshVish/Fairpy}

연구 동기 및 목표

• 다양한 모델과 사회 집단에 걸쳐 대규모 언어 모델의 사회적 편향을 평가하고 완화하기 위한 접근 가능하고 일반적인 도구의 부족을 해결하기 위해.
• 특정 모델과 사회적 맥락에 종속되지 않은 편향 탐지 및 완화 방법을 분리하여 보다 넓은 재사용성과 확장성을 제공하기 위해.
• Hugging Face 모델과 커스터마이징된 모델을 지원하는 통합된 오픈소스 파이썬 인터페이스를 제공하여 편향 평가를 위한 유일한 인터페이스를 마련하기 위해.
• 주요 사전학습된 모델들에서 다양한 편향 탐지 및 완화 기법의 효과성을 실증적으로 분석하기 위해.
• 특히 마스크된 템플릿에 의존하는 메트릭이 GPT-2와 같은 인과적(자기회귀적) 모델에 적용될 때 발생하는 호환성 문제를 규명하기 위해.

제안 방법

• 툴킷은 편향 탐지 메트릭과 완화 기법을 특정 언어 모델에서 분리한 모듈러 아키텍처를 구현하여 플러그-앤플레이 통합을 가능하게 한다.
• 다양한 편향 탐지 방법을 지원: 단어 임베딩 유사도(예: WEAT), 고정관념 예측 점수(예: StereoSet), 확률적 발산 측정법(예: 헬링거 거리).
• 완화를 위해 드롭아웃 정규화 재학습, 조건부 프롬프팅을 통한 자기완화, 임베딩에 대한 영공간 투영을 구현한다.
• 자기완화 방법은 편향된 단어 확률을 학습된 어텐션 가중치 조정을 통해 감소시키기 위해 조건부 템플릿을 사용한다: $ p_M(w|x) = \alpha(\Delta(w,x,y)) \cdot p_M(w|x) $.
• 사회 집단별 평가를 가능하게 하기 위해 사전 분할된 데이터셋(예: CrowS, StereoSet)을 포함하여 런타임과 정확도를 향상시킨다.
• 모델별 임베딩 레이어 이름과 표현 방식의 차이를 처리하기 위한 통합 인터페이스를 제공하여 모델 간 호환성을 향상시킨다.

Figure 1: The flow diagram highlights the overall architecture of the model, with the nodes labelled in red denoting the bias detection techniques and the nodes in green highlighting the bias mitigation techniques

실험 결과

연구 질문

• RQ1 BERT 및 GPT-2와 같은 다양한 사전학습된 언어 모델에 대해 가장 효과적이고 일반화 가능한 편향 탐지 메트릭은 무엇인가?
• RQ2 특히 드롭아웃 정규화 재학습과 자기완화와 같은 다양한 완화 기법이 LLM의 성별 및 고정관념 편향에 어떤 영향을 미치는가?
• RQ3 템플릿 기반 편향 탐지 방법(예: 마스크된 템플릿)을 자기회귀적 모델인 GPT-2에 적용할 때 발생하는 주요 호환성 과제는 무엇인가?
• RQ4 모델별 토크나이저 또는 임베딩 레이어 구조의 특이성으로 인해 기존 메트릭이 얼마나 실패하는가?
• RQ5 인종, 성별과 같은 사회 집단별 평가(예: race, gender)는 편향 측정의 정밀도와 효율성을 얼마나 향상시키는가?

주요 결과

• GPT-2는 드롭아웃 정규화 재학습을 거친 후 성별 편향이 크게 감소하여 WEAT 점수가 1.15(편향 있음)에서 0.80(완화됨)으로 감소하여 단어 임베딩 내 성별 연관성이 감소함을 나타낸다.
• WEAT 점수 감소에도 불구하고 GPT-2의 StereoSet 점수는 47.91에서 58.4로 상승하여 고정관념 예측 빈도가 증가함을 시사하며, 이는 완화 전략에서 잠재적 트레이드오프를 보여준다.
• BERT도 완화 후 WEAT 점수는 1.13에서 0.68로 감소하여 성별 편향 감소를 나타내지만, F1 점수는 65.6에서 64.4로 약간 감소하였다.
• 툴킷은 StereoSet 및 CrowS 데이터셋의 집단별 평가를 성공적으로 구현하여 데이터를 사회적 범주별로 분할함으로써 런타임을 단축하고 정확도를 향상시켰다.
• 툴킷은 GPT-2가 토크나이저 및 임베딩 레이어 구조의 차이로 인해 StereoSet 점수를 계산하지 못하는 모델 특이적 호환성 문제를 식별하였다.
• 드롭아웃 정규화 재학습은 GPT-2에서 헬링거 거리를 0.14에서 0.35로 증가시켜 예측 분포 간 발산이 증가함을 나타내지만, 이는 모델 불안정성 또는 메트릭 민감성의 결과일 수 있다.