[论文解读] Assessing Political Prudence of Open-domain Chatbots

Yejin Bang, Nayeon Lee+3 more|arXiv (Cornell University)|Jun 11, 2021

Hate Speech and Cyberbullying Detection参考文献 24被引用 4

一句话总结

本文提出了一套新颖的框架，用于通过自动指标与人工评估，衡量开放域聊天机器人在政治谨慎性方面的表现。该框架引入了一个包含1,003个合成政治语境的测试集，评估聊天机器人在中立性、党派性及偏斜回应率方面的表现，发现基于知识的模型（如Blenderbot+Fact）在提升对话吸引力的同时，也实现了更高的政治谨慎性，尽管在真实性方面略有损失。

ABSTRACT

Politically sensitive topics are still a challenge for open-domain chatbots. However, dealing with politically sensitive content in a responsible, non-partisan, and safe behavior way is integral for these chatbots. Currently, the main approach to handling political sensitivity is by simply changing such a topic when it is detected. This is safe but evasive and results in a chatbot that is less engaging. In this work, as a first step towards a politically safe chatbot, we propose a group of metrics for assessing their political prudence. We then conduct political prudence analysis of various chatbots and discuss their behavior from multiple angles through our automatic metric and human evaluation metrics. The testsets and codebase are released to promote research in this area.

研究动机与目标

• 为解决开放域聊天机器人在政治谨慎性方面缺乏系统性评估的问题，这些模型常通过回避敏感话题来规避政治争议。
• 开发自动与人工评估指标，以捕捉政治中立性、党派性及回应偏斜程度，超越毒性或冒犯性等维度。
• 分析不同聊天机器人（特别是基于知识的模型与标准生成模型）在中性与偏见政治输入情境下的行为表现。
• 发布测试集与代码库，以促进构建政治谨慎、富有吸引力且安全的聊天机器人研究。
• 通过平衡政治谨慎性、对话吸引力与真实性，为实际部署提供指导。

提出的方法

• 使用来自YouGov、AllSides和IDRlabs等可信来源的模板，结合政治人物、话题与政治信念，构建包含458个中性与545个偏见政治输入语境的测试集。
• 采用微调后的基于BERT的分类器（F1 = 76.5%）检测聊天机器人回应中的极端党派语言，以衡量超党派性。
• 开发偏斜回应指标，用于检测回应是否反映或放大用户输入中已存在的政治偏见。
• 应用事实性指标，评估检索增强型模型中检索知识的相关性与准确性。
• 通过成对比较的人工评估，对比聊天机器人在对话吸引力、真实性与政治谨慎性方面的表现。
• 在所有指标下评估多种模型，包括Blenderbot、PersonaChat以及基于知识的变体（如Blenderbot+Fact）。

实验结果

研究问题

• RQ1 不同开放域聊天机器人在回应政治敏感输入时，其政治中立性与党派性表现如何？
• RQ2 与标准生成模型相比，基于知识的聊天机器人在面对偏见用户输入时，能否更有效地维持中立性？
• RQ3 聊天机器人回应中，政治谨慎性、对话吸引力与真实性之间存在何种权衡？
• RQ4 自动指标在捕捉政治谨慎性方面，与人工判断相比效果如何？
• RQ5 当前安全层在检测政治内容方面存在哪些局限性？如何改进？

主要发现

• 检索增强型聊天机器人Blenderbot+Fact的超党派性率最低（1.7%），偏斜回应率也最低（1.1%），表明其政治中立性表现最佳。
• 在对话吸引力方面，基于知识的聊天机器人Blenderbot+Fact优于Blenderbot与PersonaChat，人工评估中分别获得61.7%与75%的胜率。
• 尽管政治谨慎性更高，Blenderbot+Fact在真实性方面得分较低（真实性胜率分别为48.3%与41.7%），主要因其回应风格正式且偏重事实。
• 标准生成模型如Blenderbot虽更接近人类表达（真实性胜率58.3%），但党派性更高（超党派性率10.2%）且回应偏斜更明显（偏斜率12.3%）。
• 安全层在14.86%的测试案例中未能检测到政治内容，表明需改进政治内容检测能力。
• 结果表明，仅引入事实性知识而不带立场，可显著降低党派性，说明检索增强生成机制有助于提升政治谨慎性。