[论文解读] Challenges in Measuring Bias via Open-Ended Language Generation

Afra Feyza Akyürek, Muhammed Yusuf Kocyigit+2 more|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用 5

一句话总结

本文研究了实验设计选择（如提示集、解码超参数、评估指标及自动化工具）如何显著影响开放型语言生成中的偏见测量。研究发现，相同模型在不同设置下会产生不一致的偏见得分，呼吁建立标准化、全面的报告框架，以防止误导性结论和技术设计偏见在偏见评估中的产生。

ABSTRACT

Researchers have devised numerous ways to quantify social biases vested in pretrained language models. As some language models are capable of generating coherent completions given a set of textual prompts, several prompting datasets have been proposed to measure biases between social groups -- posing language generation as a way of identifying biases. In this opinion paper, we analyze how specific choices of prompt sets, metrics, automatic tools and sampling strategies affect bias results. We find out that the practice of measuring biases through text completion is prone to yielding contradicting results under different experiment settings. We additionally provide recommendations for reporting biases in open-ended language generation for a more complete outlook of biases exhibited by a given language model. Code to reproduce the results is released under https://github.com/feyzaakyurek/bias-textgen.

研究动机与目标

• 研究实验设计变化如何影响开放型语言生成中的偏见测量。
• 识别导致偏见结果不一致的关键因素，如提示集、解码设置、评估指标和自动化工具。
• 强调技术设计偏见可能扭曲语言模型偏见评估的风险。
• 提出一种全面、多维的偏见评估报告方案，以提升可重现性与可靠性。
• 通过整合人工判断与多样化指标工具，推动透明化与系统化的评估。

提出的方法

• 作者使用 GPT-3 生成结果，针对性别、种族和宗教等主题，在多个提示集上评估偏见。
• 通过改变解码超参数（如温度、top-p）并应用多种自动化指标（如 BOLD、毒性、情感）来评估偏见。
• 通过不同人口群体（如男性与女性提示）生成结果的比率比较来测量偏见。
• 比较不同自动化工具（如 BOLD、Perspective API）的结果，以评估工具依赖性导致的偏见得分差异。
• 提出一种二维报告框架，类似于二维排行榜，用于系统比较不同提示集、指标、工具和解码设置下的偏见表现。
• 建议将人工评估作为自动化工具的补充，以验证模型输出是否符合人类判断。

实验结果

研究问题

• RQ1 不同提示集如何影响开放型语言生成中的偏见测量？
• RQ2 解码超参数（如温度、top-p）在多大程度上影响偏见测量结果？
• RQ3 不同自动化指标和工具（如 BOLD、Perspective API）为何会对同一模型和提示集产生冲突的偏见得分？
• RQ4 实验设计的差异如何导致对模型偏见的不一致或矛盾结论？
• RQ5 何种报告框架可确保语言生成中偏见评估的更高可靠性、透明度与可重现性？

主要发现

• 不同提示集即使作用于同一模型，也会产生显著不同的偏见得分，表明提示选择对结果有重大影响。
• 解码超参数（如温度、top-p）会改变偏见测量结果，较高温度会增加结果变异性，可能放大偏见。
• BOLD 和 Perspective API 等自动化工具对同一模型输出的偏见得分存在显著差异，凸显工具依赖性偏见估计问题。
• 同一模型可能因提示集、指标和工具的组合不同，被评估为高度偏见或几乎无偏见。
• 研究表明，实验设计选择（常被视为次要因素）可能导致技术性偏见结论，从而损害偏见评估的有效性。
• 作者证明，标准化、多维的报告方案对于防止误导性解读和确保偏见评估透明性至关重要。