[论文解读] Characteristics of Harmful Text: Towards Rigorous Benchmarking of Language Models

Maribeth Rauh, John W. Mellor+10 more|arXiv (Cornell University)|Jun 16, 2022

Topic Modeling被引用 12

一句话总结

本文提出了六个核心特征——伤害定义、表征/分配/能力公平性、实例与分布性伤害、上下文、伤害受体以及受影响的群体特征——以指导语言模型（LM）伤害评估基准的严谨设计。通过将这些特征应用于现有的基准（如Perspective API），作者揭示了当前评估实践中存在的关键缺陷，例如对上下文和伤害受体关注不足，并主张通过明确且有意识的基准设计，提升语言模型安全评估的可靠性与公平性。

ABSTRACT

Large language models produce human-like text that drive a growing number of applications. However, recent literature and, increasingly, real world observations, have demonstrated that these models can generate language that is toxic, biased, untruthful or otherwise harmful. Though work to evaluate language model harms is under way, translating foresight about which harms may arise into rigorous benchmarks is not straightforward. To facilitate this translation, we outline six ways of characterizing harmful text which merit explicit consideration when designing new benchmarks. We then use these characteristics as a lens to identify trends and gaps in existing benchmarks. Finally, we apply them in a case study of the Perspective API, a toxicity classifier that is widely used in harm benchmarks. Our characteristics provide one piece of the bridge that translates between foresight and effective evaluation.

研究动机与目标

• 为应对大语言模型（LM）在生成有害、偏见或不实内容方面日益严峻的评估挑战。
• 识别并系统化关键特征，以指导稳健、可靠的LM伤害基准设计。
• 通过系统性分析，揭示现有基准中的关键缺陷，例如缺乏上下文意识以及与伤害受体的错配。
• 提供一个结构化框架，使基准设计决策更加明确，减少评估中的常见陷阱。
• 通过将对潜在伤害的前瞻性思考与具体、可衡量的评估标准相联系，指导未来基准的开发。

提出的方法

• 作者识别并提炼了有害文本的六个核心特征：伤害定义、表征/分配/能力公平性、实例与分布性伤害、上下文、伤害受体以及受影响的群体特征。
• 这些特征源于对现有基准的批判性分析、机器学习公平性领域的前期研究，以及在Gopher模型等实际部署中的经验。
• 作者将该框架应用于分析广泛使用的毒性分类器Perspective API，揭示其设计与实际基准使用之间的不匹配。
• 每个特征通过一组针对性问题进行可操作化，以指导基准设计者在开发过程中做出明确且有依据的选择。
• 通过将现有基准映射到这些特征上，对框架进行验证，暴露了诸如对长文本上下文或伤害受体关注不足等遗漏。
• 该方法强调在定义测量对象及其原因时保持透明，减少模糊性，从而提升基准的可靠性。

实验结果

研究问题

• RQ1 我们如何系统性地刻画有害语言，以支持更严谨且有意识的语言模型基准设计？
• RQ2 当前用于评估LM伤害的基准中，存在哪些关键缺陷，特别是在上下文、伤害受体和群体代表性方面？
• RQ3 像Perspective API这样的广泛使用工具在多大程度上与伤害评估的实际目标保持一致？其中存在哪些不匹配？
• RQ4 隐蔽性、严重性和时效性等特征如何影响LM伤害基准的设计与有效性？
• RQ5 通过明确的基准特征，如何减少常见的设计陷阱并提升伤害评估的可靠性？

主要发现

• 分析揭示，当前评估实践中严重缺乏考虑长文本语境中的有害语言的基准，表明存在重大缺陷。
• 尽管Perspective API被广泛使用，但其设计（聚焦于毒性检测）与在评估LM生成文本时的实际应用之间存在不匹配，特别是在伤害受体方面。
• 许多现有基准未能明确定义其旨在衡量的伤害类型，导致模糊性，并可能造成目标与实际评估指标之间的错配。
• 隐蔽性和时效性等特征常被忽视，尽管它们显著影响有害语言的表现形式与检测方式。
• 该框架成功揭示，当前基准往往混淆了不同类型的伤害，未能区分表征性、分配性与能力性伤害，导致评估不完整。
• 通过六个特征明确关键设计决策，该框架实现了更透明、更具辩护性且更全面的基准开发。