[论文解读] Adding guardrails to advanced chatbots

Yanchen Wang, Lisa Singh|arXiv (Cornell University)|Jun 13, 2023

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本文评估了ChatGPT在职业相关查询中的公平性，发现其作为搜索引擎表现良好，但在文本和代码生成中表现出人口统计学偏差。论文提出了提示和响应偏差纠正、响应禁令以及独立顾问委员会等措施以减轻危害，强调亟需为黑箱大语言模型建立伦理保障机制。

ABSTRACT

Generative AI models continue to become more powerful. The launch of ChatGPT in November 2022 has ushered in a new era of AI. ChatGPT and other similar chatbots have a range of capabilities, from answering student homework questions to creating music and art. There are already concerns that humans may be replaced by chatbots for a variety of jobs. Because of the wide spectrum of data chatbots are built on, we know that they will have human errors and human biases built into them. These biases may cause significant harm and/or inequity toward different subpopulations. To understand the strengths and weakness of chatbot responses, we present a position paper that explores different use cases of ChatGPT to determine the types of questions that are answered fairly and the types that still need improvement. We find that ChatGPT is a fair search engine for the tasks we tested; however, it has biases on both text generation and code generation. We find that ChatGPT is very sensitive to changes in the prompt, where small changes lead to different levels of fairness. This suggests that we need to immediately implement "corrections" or mitigation strategies in order to improve fairness of these systems. We suggest different strategies to improve chatbots and also advocate for an impartial review panel that has access to the model parameters to measure the levels of different types of biases and then recommends safeguards that move toward responses that are less discriminatory and more accurate.

研究动机与目标

• 评估ChatGPT在薪资、工作描述和教育要求等多样化职业相关查询中的响应公平性。
• 识别提示变化如何影响响应公平性，并检测对输入表述的敏感性。
• 调查ChatGPT在代码生成和文本生成输出中出现的偏差。
• 提出可操作的缓解策略，以减少大语言模型中的种族和伦理偏差。
• 倡导设立一个独立的审查委员会，可访问模型参数，以衡量并推荐防范偏差的保障措施。

提出的方法

• 通过与权威来源（美国劳工统计局、Glassdoor）对比，评估ChatGPT响应在准确性和公平性方面的表现。
• 通过重新表述相同查询来评估提示敏感性，以检测响应公平性和内容的变化。
• 提出通过算法进行预处理偏差纠正，利用NLP技术（如基于BERT的毒性检测）检测并重述有偏差的提示。
• 提出通过掩码词替换和性别中立替代词进行后处理响应纠正，以中和性别化或人口统计学偏差语言。
• 建议对伦理敏感或有害的查询实施响应禁令，直至模型鲁棒性提升。
• 倡导设立由研究人员、伦理学家和法律专家组成的独立顾问委员会，审计偏差并推荐保障措施。

Figure 1: Experiment setup to explore bias in text generation from ChatGPT

实验结果

研究问题

• RQ1 与权威来源相比，ChatGPT在回答薪资、工作描述和教育要求等职业相关查询时，其公平性如何？
• RQ2 微小的提示重述如何影响ChatGPT响应的公平性和人口统计学中立性？
• RQ3 ChatGPT在代码生成和文本生成输出中出现哪些类型的偏差，它们如何反映训练数据中的偏差？
• RQ4 提示和响应偏差纠正技术在减少大语言模型输出中的人口统计学偏差方面效果如何？
• RQ5 需要哪些制度性机制（如独立顾问委员会）来确保生成式AI系统中伦理监督和持续的偏差缓解？

主要发现

• 对于事实性查询，ChatGPT的表现与搜索引擎相当，能准确报告平均薪资和工作要求，并引用来源。
• 尽管事实表现良好，ChatGPT在文本和代码生成中仍表现出人口统计学偏差，尤其在接收到有偏差或模糊的提示时。
• 提示的微小重述会导致响应公平性发生显著变化，表明对输入表述高度敏感且缺乏鲁棒性。
• 该模型表现出确认偏误，强化了训练数据中存在的既有刻板印象和偏好，尤其在性别化语言和角色假设方面。
• 对伦理敏感或有害查询实施响应禁令是必要的，以防止歧视性内容的传播，直至模型可靠性提升。
• 设立一个可访问模型参数的独立顾问委员会，对于衡量偏差类型并推荐有效、透明的保障措施至关重要。