[论文解读] BiasFinder: Metamorphic Test Generation to Uncover Bias for Sentiment Analysis Systems

Muhammad Hilmi Asyrofi, Zhou Yang+4 more|arXiv (Cornell University)|Feb 3, 2021

Topic Modeling被引用 8

一句话总结

BiasFinder 是一种自动化元测试框架，通过从大规模文本语料库中动态筛选模板并使用人口统计属性词（如性别、职业、国籍）对其进行变异，自动生成多样化且真实的测试用例，以发现情感分析（SA）系统中的群体偏见。该框架在检测多种偏见类型（包括性别、职业和国籍偏见）的偏见揭露测试用例（BTCs）方面优于先前方法，同时生成的测试用例更具流畅性和多样性。

ABSTRACT

Artificial Intelligence (AI) software systems, such as Sentiment Analysis (SA) systems, typically learn from large amounts of data that may reflect human biases. Consequently, the machine learning model in such software systems may exhibit unintended demographic bias based on specific characteristics (e.g., gender, occupation, country-of-origin, etc.). Such biases manifest in an SA system when it predicts a different sentiment for similar texts that differ only in the characteristic of individuals described. Existing studies on revealing bias in SA systems rely on the production of sentences from a small set of short, predefined templates. To address this limitation, we present BisaFinder, an approach to discover biased predictions in SA systems via metamorphic testing. A key feature of BisaFinder is the automatic curation of suitable templates based on the pieces of text from a large corpus, using various Natural Language Processing (NLP) techniques to identify words that describe demographic characteristics. Next, BisaFinder instantiates new text from these templates by filling in placeholders with words associated with a class of a characteristic (e.g., gender-specific words such as female names, "she", "her"). These texts are used to tease out bias in an SA system. BisaFinder identifies a bias-uncovering test case when it detects that the SA system exhibits demographic bias for a pair of texts, i.e., it predicts a different sentiment for texts that differ only in words associated with a different class (e.g., male vs. female) of a target characteristic (e.g., gender). Our empirical evaluation showed that BiasFinder can effectively create a larger number of fluent and diverse test cases that uncover various biases in an SA system.

研究动机与目标

• 解决先前偏见检测方法依赖手动构建、数量有限的模板来生成测试用例的局限性。
• 开发一种自动化、可扩展的方法，以发现情感分析系统中多种特征（如性别、职业、国籍）的人口统计偏见。
• 通过元测试生成流畅、多样且真实的测试用例，以暴露 SA 系统中的公平性缺陷。
• 与 EEC 和 MT-NLP 等现有方法相比，评估生成测试用例的有效性和流畅性。
• 证明该方法在性别偏见之外对 NLP 系统中其他公平性问题的可推广性。

提出的方法

• BiasFinder 使用自然语言处理技术，从大规模文本语料库中自动筛选出可揭示偏见的模板，识别与人口统计特征相关的词汇（如性别特定代词、姓名、职业术语）。
• 通过将模板中的占位符词汇替换为目标特征不同类别的术语（如 'she' → 'he'，'doctor' → 'nurse'），生成变异的测试用例。
• 通过比较仅在人口统计属性词上不同的原始文本与变异文本之间的情感预测结果，应用元测试方法。
• 当 SA 系统对除人口统计属性外其他方面完全相同的文本分配不同情感分数时，即判定为偏见揭露测试用例（BTC）。
• 该方法利用自然语言处理技术，确保生成的测试用例具有流畅性和语义一致性。
• 通过多个 SA 模型和人工标注，对 BiasFinder 的 BTC 检测率和流畅性与 EEC 和 MT-NLP 进行实证比较。

实验结果

研究问题

• RQ1 与手工构建的模板相比，BiasFinder 是否能够自动生成更多样化且更流畅的测试用例，以揭示情感分析系统中的偏见？
• RQ2 BiasFinder 是否能有效检测多种人口统计特征（包括性别、职业和国籍）的偏见，而不仅限于性别？
• RQ3 与 EEC 和 MT-NLP 等现有方法相比，BiasFinder 生成的测试用例的流畅性如何？
• RQ4 在多种 SA 模型中，BiasFinder 是否能检测到比先前方法更多的偏见揭露测试用例（BTCs）？
• RQ5 BiasFinder 在情感分析之外的其他 NLP 任务中进行公平性测试时，其通用性如何？

主要发现

• 在研究评估的所有 SA 模型中，BiasFinder 发现的性别偏见揭露测试用例（BTCs）数量均多于 EEC 和 MT-NLP。
• 该框架成功检测到先前方法未覆盖的职业和国籍偏见相关的 BTCs。
• 人工标注者一致认为，由 BiasFinder 生成的变异测试用例比 MT-NLP 生成的更具流畅性，表明其自然语言质量更高。
• 使用从大规模语料库中自动筛选的模板，相比预定义的、数量有限的模板，能够生成更多样化且更真实的测试用例。
• BiasFinder 展现出可扩展性和适应性，可轻松应用于多种人口统计特征，而无需手动重新配置。
• 实证评估证实，结合自动模板筛选的元测试方法，能有效揭示情感分析系统中的公平性缺陷。