[论文解读] How to Write a Bias Statement: Recommendations for Submissions to the Workshop on Gender Bias in NLP

Christian Hardmeier, Marta R. Costa‐jussà+3 more|arXiv (Cornell University)|Apr 7, 2021

Hate Speech and Cyberbullying Detection被引用 4

一句话总结

本文為NLP研究中的偏见声明提供了可操作的指南，强调了对规范性假设和与社会影响相关的危害类型（如资源分配性危害和表征性危害）的明确讨论。它倡导对偏见定义及其现实后果进行批判性反思，通过具体案例说明偏见声明如何提升NLP研讨会中性别偏见研究的透明度与问责性。

ABSTRACT

At the Workshop on Gender Bias in NLP (GeBNLP), we'd like to encourage authors to give explicit consideration to the wider aspects of bias and its social implications. For the 2020 edition of the workshop, we therefore requested that all authors include an explicit bias statement in their work to clarify how their work relates to the social context in which NLP systems are used. The programme committee of the workshops included a number of reviewers with a background in the humanities and social sciences, in addition to NLP experts doing the bulk of the reviewing. Each paper was assigned one of those reviewers, and they were asked to pay specific attention to the provided bias statements in their reviews. This initiative was well received by the authors who submitted papers to the workshop, several of whom said they received useful suggestions and literature hints from the bias reviewers. We are therefore planning to keep this feature of the review process in future editions of the workshop.

研究动机与目标

• 鼓励NLP研究人员在其工作中明确阐述偏见的社会与伦理影响。
• 为作者提供一个结构化框架，以阐明其研究与现实世界危害及社会价值观之间的关联。
• 促进对偏见定义及其在捕捉系统性不公方面的局限性的批判性反思。
• 通过纳入具有社会科学与人文学科背景的评审人员，支持同行评审过程，以评估偏见声明在规范性和语境上的合理性。
• 将偏见声明制度化为NLP研讨会（尤其是GeBNLP）的常规实践，以提升研究的问责性。

提出的方法

• 为NLP投稿（尤其是GeBNLP等研讨会）提出偏见声明的标准化格式。
• 基于Blodgett等人（2020）的研究，将危害类型划分为资源分配性危害与表征性危害。
• 鼓励作者明确论证为何某些行为被视为有害，依据规范性价值与社会影响。
• 倡导在定义偏见时保持清晰，包括所选定义的局限性及其潜在排除范围。
• 通过指派具有社会科学与人文学科专长的评审人员，将偏见声明评审整合进同行评审流程。
• 使用现实世界案例说明偏见声明如何阐明NLP系统对社会的后果。

实验结果

研究问题

• RQ1 NLP研究人员如何更好地阐明其工作中偏见的社会与伦理影响？
• RQ2 在NLP系统中的性别偏见中，哪种危害类型——资源分配性或表征性——更为相关？
• RQ3 如何使偏见定义背后的规范性假设显性化并加以批判性审视？
• RQ4 偏见声明在哪些方面可提升NLP研究的透明度与问责性？
• RQ5 同行评审流程应如何调整，以评估偏见声明的质量与深度？

主要发现

• 偏见声明有助于使关于危害与公平性的规范性假设显性化，从而实现更透明、更具问责性的研究。
• 资源分配性危害指系统在社会群体之间不公平地分配资源或机会，例如在性别化的招聘工具中。
• 表征性危害指系统对某些社会群体产生错误表征、错误指代或使其被抹去，例如非二元性别或跨性别个体。
• 将偏见定义为有害，需要批判性反思该定义是否捕捉了所有相关不公，或是否忽略了系统性不平等。
• 在同行评审中纳入偏见声明后，获得了有益的反馈与文献建议，表明其对提升研究质量具有价值。
• 该倡议受到作者广泛欢迎，并计划在未来的GeBNLP研讨会上持续使用。