[论文解读] ChatGPT and Bard Responses to Polarizing Questions

Abhay Goyal, Muhammad Shahid Nawaz+11 more|arXiv (Cornell University)|Jul 13, 2023

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

本研究通过创建一个公开可用的、经人工标注的数据集，调查了ChatGPT和Bard在涉及美国中心议题的争议性话题上的极化响应。研究发现，两个模型均表现出左倾偏见，但Bard提供的回应更全面、更少泛化，因此更容易传播错误信息，但在复杂辩论中更具实用性。

ABSTRACT

Recent developments in natural language processing have demonstrated the potential of large language models (LLMs) to improve a range of educational and learning outcomes. Of recent chatbots based on LLMs, ChatGPT and Bard have made it clear that artificial intelligence (AI) technology will have significant implications on the way we obtain and search for information. However, these tools sometimes produce text that is convincing, but often incorrect, known as hallucinations. As such, their use can distort scientific facts and spread misinformation. To counter polarizing responses on these tools, it is critical to provide an overview of such responses so stakeholders can determine which topics tend to produce more contentious responses -- key to developing targeted regulatory policy and interventions. In addition, there currently exists no annotated dataset of ChatGPT and Bard responses around possibly polarizing topics, central to the above aims. We address the indicated issues through the following contribution: Focusing on highly polarizing topics in the US, we created and described a dataset of ChatGPT and Bard responses. Broadly, our results indicated a left-leaning bias for both ChatGPT and Bard, with Bard more likely to provide responses around polarizing topics. Bard seemed to have fewer guardrails around controversial topics, and appeared more willing to provide comprehensive, and somewhat human-like responses. Bard may thus be more likely abused by malicious actors. Stakeholders may utilize our findings to mitigate misinformative and/or polarizing responses from LLMs

研究动机与目标

• 为解决在极化话题上大型语言模型响应的标注数据集缺乏的问题，特别是为监管和政策制定提供支持。
• 调查ChatGPT和Bard在应对美国高度争议性议题（如枪支管制、堕胎和移民改革）时的响应表现。
• 评估这些模型在处理分裂性社会与政治议题时是否表现出偏见，尤其是语气或内容上的偏见。
• 识别响应生成中的模式，例如通用默认语句（如“作为AI语言模型……”）与特定主题回应之间的差异。
• 通过基于证据的政策与设计干预措施，为利益相关方提供减少大型语言模型聊天机器人引发错误信息与极化风险的参考。

提出的方法

• 从Quora收集了100个高度极化的议题，聚焦于美国特有的社会与政治问题。
• 使用标准化提示，为每个问题生成ChatGPT和Google的Bard（基于LaMDA）的响应。
• 通过n-gram频率分析评估响应内容，识别重复短语与主题焦点。
• 对响应风格进行定性与定量比较，包括通用模板的使用与特定主题细节的呈现。
• 通过评估语言语气、事实陈述以及与进步派或保守派观点的一致性，评估响应偏见。
• 创建一个公开可访问的、经人工标注的响应数据集，以支持未来关于大型语言模型行为与政策制定的研究。

实验结果

研究问题

• RQ1 ChatGPT和Bard如何回应美国高度极化的议题？
• RQ2 ChatGPT和Bard在回应争议性社会与政治议题时是否表现出可检测的意识形态偏见？
• RQ3 在响应生成中出现了哪些模式，例如使用“作为AI语言模型……”等通用免责声明？这些模式在不同议题间有何差异？
• RQ4 ChatGPT和Bard在回应深度、具体性与感知中立性方面有何差异？
• RQ5 这些模型在多大程度上默认使用非特定或模板化回应？哪些议题会触发更全面的回答？

主要发现

• ChatGPT和Bard在回应极化议题时均表现出左倾偏见，其中Bard更倾向于采用进步派的表述框架。
• 与ChatGPT相比，Bard在枪支管制和疫苗接种等争议性议题上更可能提供详细且非泛化的回应。
• ChatGPT在涉及素食主义、移民改革和堕胎等议题时，频繁使用“作为AI语言模型……”等通用表述，表明可能存在响应抑制或安全过滤机制。
• n-gram分析显示，Bard的回应更具主题聚焦性，其短语如“枪支管制法”和“疫苗安全有效”表明其参与度更高。
• ChatGPT的响应行为不一致：在某些争议性议题（如警察暴力）上提供详细回答，而在其他议题上则默认使用模板。
• Bard缺乏强有力的防护机制，导致其更易生成全面且类人化的回应，从而增加了其在错误信息传播中被滥用的可能性。