[论文解读] Fairness of ChatGPT

Yunqi Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|May 22, 2023

Ethics and Social Impacts of AI被引用 11

一句话总结

本文系统性地评估 ChatGPT 在高风险领域的公平性（教育、犯罪学、金融、医疗保健），在有偏见与无偏见提示下分析群体与个体公平性，并与小基线模型进行比较。

ABSTRACT

Understanding and addressing unfairness in LLMs are crucial for responsible AI deployment. However, there is a limited number of quantitative analyses and in-depth studies regarding fairness evaluations in LLMs, especially when applying LLMs to high-stakes fields. This work aims to fill this gap by providing a systematic evaluation of the effectiveness and fairness of LLMs using ChatGPT as a study case. We focus on assessing ChatGPT's performance in high-takes fields including education, criminology, finance and healthcare. To conduct a thorough evaluation, we consider both group fairness and individual fairness metrics. We also observe the disparities in ChatGPT's outputs under a set of biased or unbiased prompts. This work contributes to a deeper understanding of LLMs' fairness performance, facilitates bias mitigation and fosters the development of responsible AI systems.

研究动机与目标

• 使用四个数据集评估 ChatGPT 在高风险领域的公平性和有效性（教育、犯罪学、金融、医疗保健）。
• 评估群体公平性（例如机会平等、人口统计学平衡）和个体公平性（对抗实验公平性）。
• 调查模型对有偏见与无偏见的上下文提示的敏感性及其对输出的影响。
• 在相同任务上将 ChatGPT 与小基线模型（逻辑回归、MLP）进行比较。
• 提供数据、提示和结果，以支持偏见缓解和负责任的 AI 部署。

提出的方法

• 使用四个标准公平性数据集：PISA（教育）、COMPAS（犯罪学）、German Credit（金融）、Heart Disease（医疗保健）。
• 训练小基线模型（逻辑回归、MLP），并在零温度提示下与 ChatGPT（gpt-3.5-turbo）进行比较。
• 设计八个提示（四个无偏见，四个有偏见），并使用上下文示例测试提示敏感性。
• 使用准确率、F1、AUC（有效性）以及群体层面指标（SP、TPR、FPR、ACC、F1、AUC）和对抗性公平性指标（CR）进行评估。
• 通过翻转敏感特征来构造对照测试集以评估个体公平性。

实验结果

研究问题

• RQ1 在准确性和公平性方面，ChatGPT 与小模型在高风险任务上的表现如何？
• RQ2 使用 ChatGPT 时，不同性别与种族群体的群体公平性行为（如 SP、TPR、FPR）如何？
• RQ3 ChatGPT 针对有偏见与无偏见提示在输出和公平性指标方面有何响应？
• RQ4 ChatGPT 在这些领域在多大程度上表现出对抗性公平性？

主要发现

• ChatGPT 在 PISA、COMPAS 和 Heart Disease 的总体有效性上可与小模型相媲美，但在 German Credit 上表现不佳。
• ChatGPT 通常在群体公平性方面优于小模型，但在跨数据集存在明显的个体公平性差距。
• 有偏见的提示常导致更差的公平性结果；无偏见的提示往往能获得更好性能，尽管趋势因数据集而异。
• 提示中的对照性实例并不始终改善公平性，有时还会降低有效性。
• 提示设计显著影响输出，强调需要谨慎的提示工程以缓解偏见。