[논문 리뷰] BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models

Rafał Kocielnik, Shrimai Prabhumoye외 4명|arXiv (Cornell University)|2023. 02. 14.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사전 학습된 언어 모델(PLM)에서 사회적 편향을 탐지하기 위해 다양한 자연스러운 테스트 문장을 자동으로 생성하는 데 ChatGPT를 활용하는 BiasTestGPT라는 프레임워크를 소개한다. 사용자 지정 가능한 편향 사양과 HuggingFace 통합을 통해 기존의 템플릿 기반 또는 인력 기반 방법에 비해 상호작용적이고 미묘한 편향을 훨씬 더 잘 탐지할 수 있으며, 도메인 전문가들이 접근하기 쉬우며 확장 가능하고 오픈소스인 솔루션을 제공한다.

ABSTRACT

Pretrained Language Models (PLMs) harbor inherent social biases that can result in harmful real-world implications. Such social biases are measured through the probability values that PLMs output for different social groups and attributes appearing in a set of test sentences. However, bias testing is currently cumbersome since the test sentences are generated either from a limited set of manual templates or need expensive crowd-sourcing. We instead propose using ChatGPT for the controllable generation of test sentences, given any arbitrary user-specified combination of social groups and attributes appearing in the test sentences. When compared to template-based methods, our approach using ChatGPT for test sentence generation is superior in detecting social bias, especially in challenging settings such as intersectional biases. We present an open-source comprehensive bias testing framework (BiasTestGPT), hosted on HuggingFace, that can be plugged into any open-source PLM for bias testing. User testing with domain experts from various fields has shown their interest in being able to test modern AI for social biases. Our tool has significantly improved their awareness of such biases in PLMs, proving to be learnable and user-friendly. We thus enable seamless open-ended social bias testing of PLMs by domain experts through an automatic large-scale generation of diverse test sentences for any combination of social categories and attributes.

연구 동기 및 목표

• 기존의 사회적 편향 테스트 방법의 한계를 해결하기 위해, 작은 크기의 인위적 또는 비용이 많이 드는 인력 기반 테스트 세트에 의존하는 것.
• 사용자 지정이 가능하고 맥락이 풍부한 테스트 문장을 통해 도메인 전문가가 PLM에서 사회적 편향을 체계적으로 테스트할 수 있도록 하기 위해.
• 대규모 언어 모델을 통한 테스트 문장 자동 생성을 통해 수동 템플릿 작성이나 고비용 인간 주석에 대한 의존도를 줄이기 위해.
• 기존 방법이 자주 간과하는 복잡한 상호작용적 편향을 향상된 방식으로 탐지하기 위해.
• HuggingFace와 통합된 오픈소스로 사용자 友好的한 도구를 제공하여 어떤 오픈소스 PLM에서도 원활한 편향 테스트를 가능하게 하기 위해.

제안 방법

• 사용자가 지정한 사회적 집단과 특성의 조합을 바탕으로 ChatGPT를 사용해 자연스럽고 맥락이 다양한 테스트 문장을 생성한다.
• 스테레오타입과 반스테레오타입을 포함한 문장 쌍을 생성하여 편향 정량화를 위한 비교적 확률 분석을 가능하게 한다.
• 어휘 기반 입력을 통해 사용자가 맞춤형 사회적 범주와 특성을 정의할 수 있도록 하는 유연한 편향 사양을 지원한다.
• 테스트 문장은 스테레오타입/반스테레오타입 쌍으로 묶여지며, Nadeem 등(2021)의 편향 지표를 사용해 편향 수준을 정량화한다.
• 도구는 HuggingFace에 호스팅되어 있어 HuggingFace에서 제공하는 모든 PLM와 즉각적인 플러그인 통합이 가능해 실시간 편향 평가가 가능하다.
• 프레임워크는 모델 수준, 특성 수준, 문장 수준의 다중 수준 출력을 지원하여 세밀한 점검이 가능하다.

Figure 1. An overview of the Graphical User Interface of our open-source HuggingFace tool for social bias testing in PLMs. The tool connects to ChatGPT and supports step-by-step bias testing workflow (A). Following a flexible term-based bias specification by domain expert (B) the tool can retrieve o

실험 결과

연구 질문

• RQ1 LLM가 생성한 테스트 문장이, 특히 복잡한 상호작용적 설정에서 기존의 템플릿 기반 또는 인력 기반 방법에 비해 PLM의 사회적 편향 탐지에서 더 우수한 성능을 보일 수 있는가?
• RQ2 ChatGPT를 사용해 다양하고 맥락적으로 자연스럽고 대표적인 테스트 문장을 편향 테스트에 위해 생성할 수 있는 정도는 어느 정도인가?
• RQ3 NLP 전문 지식이 없는 도메인 전문가들이 BiasTestGPT 프레임워크를 얼마나 쉽게 사용하고 효과적으로 사회적 편향을 식별하고 측정할 수 있는가?
• RQ4 기존 방법에 비해 테스트 문장의 자동 생성이 뉘앙스 있는 또는 상호작용적 편향 탐지에 어떻게 기여하는가?
• RQ5 신뢰성과 확장성 측면에서 기존의 내재적 편향 평가 방법과 비교했을 때 프레임워크의 성능은 어떠한가?

주요 결과

• BiasTestGPT는 특히 도전적인 상호작용적 편향 시나리오에서 템플릿 기반 방법에 비해 PLM의 사회적 편향 탐지 능력을 크게 향상시킨다.
• 프레임워크는 도메인 전문가가 필요에 따라 고품질의 맥락이 풍부한 테스트 문장을 자동 생성할 수 있게 해주며, AI의 공정성 문제에 대한 인식을 높인다.
• 도메인 전문가 대상 사용 테스트 결과, 도구의 사용 용이성과 높은 관심도가 확인되어 학습 가능성과 실용적 가치를 입증했다.
• 생성된 테스트 세트는 자동으로 HuggingFace 형식으로 오픈소스화되어 즉각적인 접근성과 재현 가능성을 보장한다.
• 도구는 문장 수준의 세밀한 점검을 지원하여 사용자가 편향 발견 결과를 수동으로 검증하고 확인할 수 있다.
• 기본 LLM의 훈련 데이터 분포에 기인한 한계가 있음에도 불구하고, 비용이 많이 들거나 유연성 부족한 기존 편향 테스트 파이프라인에 비해 확장 가능하고 민첩한 대안을 제공한다.

Figure 2. Overview of our BiasTestGPT framework for test sentence generation for social bias testing in pre-trained language models. We leverage ChatGPT to generate sentences to test social bias on a Tested PLM . The steps involved: (1) user-provided social bias specification; (2) ChatGPT generation