[论文解读] BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models

Rafał Kocielnik, Shrimai Prabhumoye+4 more|arXiv (Cornell University)|Feb 14, 2023

Topic Modeling被引用 4

一句话总结

该论文提出 BiasTestGPT，一种利用 ChatGPT 自动生成多样化、自然语境测试句的框架，用于检测预训练语言模型（PLM）中的社会偏见。通过支持按需灵活指定偏见类型并集成 HuggingFace，该工具相比基于模板或众包的方法，显著提升了对交叉性偏见和细微偏见的检测能力，为领域专家提供了一种可访问、可扩展且开源的偏见测试解决方案。

ABSTRACT

Pretrained Language Models (PLMs) harbor inherent social biases that can result in harmful real-world implications. Such social biases are measured through the probability values that PLMs output for different social groups and attributes appearing in a set of test sentences. However, bias testing is currently cumbersome since the test sentences are generated either from a limited set of manual templates or need expensive crowd-sourcing. We instead propose using ChatGPT for the controllable generation of test sentences, given any arbitrary user-specified combination of social groups and attributes appearing in the test sentences. When compared to template-based methods, our approach using ChatGPT for test sentence generation is superior in detecting social bias, especially in challenging settings such as intersectional biases. We present an open-source comprehensive bias testing framework (BiasTestGPT), hosted on HuggingFace, that can be plugged into any open-source PLM for bias testing. User testing with domain experts from various fields has shown their interest in being able to test modern AI for social biases. Our tool has significantly improved their awareness of such biases in PLMs, proving to be learnable and user-friendly. We thus enable seamless open-ended social bias testing of PLMs by domain experts through an automatic large-scale generation of diverse test sentences for any combination of social categories and attributes.

研究动机与目标

• 解决现有社会偏见测试方法的局限性，这些方法依赖于小规模、人工构造或成本高昂的众包测试集。
• 使领域专家能够通过可定制、上下文丰富的测试句，系统性地检测 PLM 中的社会偏见。
• 通过大型语言模型自动生​​成测试句，减少对手动模板创建或昂贵的人工标注的依赖。
• 提升对传统方法常遗漏的复杂交叉性偏见的检测能力。
• 提供一个开源、用户友好的工具，与 HuggingFace 集成，实现对任何开源 PLM 的无缝偏见测试。

提出的方法

• 该框架利用 ChatGPT 基于用户指定的社会群体与属性组合，生成自然且上下文多样的测试句。
• 生成成对的句子变体——刻板印象句与反刻板印象句，以支持概率对比分析，实现偏见量化。
• 通过基于术语的输入支持灵活的偏见指定，允许用户定义自定义的社会类别与属性。
• 将测试句分组为刻板印象/反刻板印象对，并使用 Nadeem 等人（2021）提出的偏见度量指标来量化偏见水平。
• 该工具托管于 HuggingFace，支持与任何 HuggingFace 托管的 PLM 无缝集成，实现实时偏见评估。
• 该框架支持多层级输出：模型级、属性级和句子级偏见分析，实现细粒度检查。

Figure 1. An overview of the Graphical User Interface of our open-source HuggingFace tool for social bias testing in PLMs. The tool connects to ChatGPT and supports step-by-step bias testing workflow (A). Following a flexible term-based bias specification by domain expert (B) the tool can retrieve o

实验结果

研究问题

• RQ1 LLM 生成的测试句是否在检测 PLM 中的社会偏见方面优于基于模板或众包的方法，特别是在复杂、交叉性情境下？
• RQ2 ChatGPT 在多大程度上能够生成多样化、上下文自然且具有代表性的测试句，以用于偏见测试？
• RQ3 BiasTestGPT 框架对无 NLP 专业知识的领域专家而言，其可用性和有效性如何，能否有效识别和测量 PLM 中的社会偏见？
• RQ4 与传统方法相比，测试句的自动化生成是否提升了对细微或交叉性偏见的检测能力？
• RQ5 与现有内在偏见评估方法相比，该框架在可靠性与可扩展性方面表现如何？

主要发现

• 与基于模板的方法相比，BiasTestGPT 显著提升了对 PLM 中社会偏见的检测能力，尤其在具有挑战性的交叉性偏见场景中。
• 该框架使领域专家能够按需生成高质量、上下文多样的测试句，增强了其对 AI 公平性问题的认识。
• 对领域专家的用户测试表明，该工具具有出色的可用性，并激发了浓厚兴趣，证实了其易学性和实际价值。
• 生成的测试集会自动以 HuggingFace 格式开源，确保即时可访问性和可复现性。
• 该工具支持细粒度的句子级检查，使用户能够手动验证和确认偏见发现。
• 尽管受限于底层 LLM 训练数据分布，该框架仍为昂贵或僵化的偏见测试流程提供了一种可扩展且灵活的替代方案。

Figure 2. Overview of our BiasTestGPT framework for test sentence generation for social bias testing in pre-trained language models. We leverage ChatGPT to generate sentences to test social bias on a Tested PLM . The steps involved: (1) user-provided social bias specification; (2) ChatGPT generation