[论文解读] Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation

Jizhi Zhang, Keqin Bao+4 more|arXiv (Cornell University)|May 12, 2023

Topic Modeling参考文献 41被引用 17

一句话总结

本论文提出 FaiRLLM，是对 RecLLM 的公平性基准，并评估 ChatGPT，揭示在音乐和电影推荐中对若干用户敏感属性存在不公平。

ABSTRACT

The remarkable achievements of Large Language Models (LLMs) have led to the emergence of a novel recommendation paradigm -- Recommendation via LLM (RecLLM). Nevertheless, it is important to note that LLMs may contain social prejudices, and therefore, the fairness of recommendations made by RecLLM requires further investigation. To avoid the potential risks of RecLLM, it is imperative to evaluate the fairness of RecLLM with respect to various sensitive attributes on the user side. Due to the differences between the RecLLM paradigm and the traditional recommendation paradigm, it is problematic to directly use the fairness benchmark of traditional recommendation. To address the dilemma, we propose a novel benchmark called Fairness of Recommendation via LLM (FaiRLLM). This benchmark comprises carefully crafted metrics and a dataset that accounts for eight sensitive attributes1 in two recommendation scenarios: music and movies. By utilizing our FaiRLLM benchmark, we conducted an evaluation of ChatGPT and discovered that it still exhibits unfairness to some sensitive attributes when generating recommendations. Our code and dataset can be found at https://github.com/jizhi-zhang/FaiRLLM.

研究动机与目标

• 在 RecLLM 范式中，当未提供敏感属性时，LLM 作为推荐系统时的公平性问题成为动机。
• 提出 FaiRLLM，一个包含八个敏感用户属性在两个领域（音乐、电影）的数据集与指标的基准。
• 定义一个中立与敏感指令相似性框架，在不需要候选分数的情况下评估公平性。
• 提供可重复的评估结果，使用 ChatGPT 来揭示偏见并提出缓解方向。

提出的方法

• 将 RecLLM 的公平性概念定义为在未提供敏感属性时，对用户群体不存在偏见。
• 计算中立指令与敏感指令变体之间的 top-K 推荐相似性。
• 引入三种相似性度量（Jaccard@K、SERP*@K、PRAG*@K），在比较中考虑排名的同时对中立与敏感列表进行比较。
• 提出两种公平性度量（SNSR@K、SNSV@K），量化跨敏感属性值的聚合相似度离散程度。
• 构建两个数据基准数据集（Music、Movie），包含八个敏感属性值以及模板化指令格式。
• 使用 ChatGPT 的贪心解码设置以确保生成 top-K 列表的可重复性。

实验结果

研究问题

• RQ1 RQ1: 当作为推荐系统时，在服务于各种敏感用户属性时，LLM 有多么不公平？
• RQ2 RQ2: 所观察的不公平性是否对提示输入的拼写错误或不同语言等条件具有鲁棒性？
• RQ3 RQ3: 公平性测量在音乐和电影领域是否呈现一致的模式？

主要发现

• ChatGPT 在音乐和电影推荐中对多项敏感属性表现出不公平。
• 公平性指标 SNSR 与 SNSV 显示属性相关的不公平水平；宗教、大洲、职业、国家、种族等显示不同的影响。
• 当将推荐列表截断为不同长度（K）时，不公平仍然存在。
• 敏感属性值中的拼写错误可能在接近弱势群体时加剧或保持不公平，取决于与弱势群体的接近程度。
• 中文提示也显示出持续的不公平性，在某些领域（电影）翻译情形下相似度较低。