[论文解读] A survey on fairness of large language models in e-commerce: progress, application, and challenge

Qingyang Ren, Zilin Jiang+7 more|arXiv (Cornell University)|May 15, 2024

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本综述对大型语言模型（LLMs）在电子商务中的公平性提供了全面分析，探讨了其在产品评论、推荐系统、翻译和问答系统中的应用，同时识别了训练数据和算法带来的偏见。该研究提出了改进的公平性度量指标，倡导在整个AI生命周期中实施偏见缓解措施，并呼吁跨学科合作，以确保电子商务AI系统具备公平性、透明性和可信度。

ABSTRACT

This survey explores the fairness of large language models (LLMs) in e-commerce, examining their progress, applications, and the challenges they face. LLMs have become pivotal in the e-commerce domain, offering innovative solutions and enhancing customer experiences. This work presents a comprehensive survey on the applications and challenges of LLMs in e-commerce. The paper begins by introducing the key principles underlying the use of LLMs in e-commerce, detailing the processes of pretraining, fine-tuning, and prompting that tailor these models to specific needs. It then explores the varied applications of LLMs in e-commerce, including product reviews, where they synthesize and analyze customer feedback; product recommendations, where they leverage consumer data to suggest relevant items; product information translation, enhancing global accessibility; and product question and answer sections, where they automate customer support. The paper critically addresses the fairness challenges in e-commerce, highlighting how biases in training data and algorithms can lead to unfair outcomes, such as reinforcing stereotypes or discriminating against certain groups. These issues not only undermine consumer trust, but also raise ethical and legal concerns. Finally, the work outlines future research directions, emphasizing the need for more equitable and transparent LLMs in e-commerce. It advocates for ongoing efforts to mitigate biases and improve the fairness of these systems, ensuring they serve diverse global markets effectively and ethically. Through this comprehensive analysis, the survey provides a holistic view of the current landscape of LLMs in e-commerce, offering insights into their potential and limitations, and guiding future endeavors in creating fairer and more inclusive e-commerce environments.

研究动机与目标

• 考察大型语言模型（LLMs）在电子商务平台中公平性的当前状态。
• 识别训练数据和模型架构中的偏见如何导致电子商务应用中的歧视性结果。
• 评估现有公平性度量指标和基准，用于评估在性别、种族和职业等领域的LLM生成内容中的偏见。
• 提出一个将公平性整合到电子商务AI开发全生命周期中的框架。
• 引导未来研究，推动在全球电子商务生态系统中实现更公平、透明和包容的LLM部署。

提出的方法

• 系统性回顾电子商务中LLM开发的原则，包括预训练、微调和提示工程。
• 对关键电子商务应用中的公平性挑战进行分类与分析：产品评论、推荐系统、翻译和问答系统。
• 评估内在与外在公平性度量指标，包括BOLD（开放性语言生成中的偏见）和反事实情感偏见（CSB）。
• 使用Wasserstein-1距离引入形式化的公平性度量指标，以量化敏感属性之间的情感差异。
• 提出在AI流程的每个阶段（从数据收集到部署）集成公平性检查。
• 倡导领域自适应与跨学科合作，以在多样化电子商务场景中规模化部署公平性感知模型。

Figure 1: An overview of the fairness of e-commerce LLMs

实验结果

研究问题

• RQ1 训练数据和模型架构中的偏见如何影响电子商务LLMs的公平性？
• RQ2 在产品推荐和客户支持等具体电子商务应用中，主要的公平性挑战是什么？
• RQ3 当前基准（如BOLD和CSB）在衡量不同人口群体间公平性方面的有效性如何？
• RQ4 哪些度量指标和评估框架能够准确捕捉电子商务场景中超越人口均等性的公平性？
• RQ5 如何在电子商务LLM的整个AI开发生命周期中系统性地嵌入公平性？

主要发现

• 电子商务中的LLMs往往从未经筛选的互联网数据中继承并放大社会偏见，导致在情感、毒性及代表性方面出现歧视性结果。
• BOLD基准通过自然语言提示，在五个领域（性别、种族、宗教、职业和政治意识形态）中实现了大规模偏见评估。
• 反事实情感偏见（CSB）度量指标使用Wasserstein-1距离进行量化：I.F.衡量反事实对之间的个体公平性，G.F.评估群体层面的情感差异。
• 公平性度量显示，模型在敏感属性不同的反事实情境下生成显著不同的情感得分，表明存在可测量的偏见。
• 当前的公平性评估仍受限于对静态基准的依赖，且缺乏与实际部署流程的整合。
• 未来进展取决于在数据收集、模型训练和持续监控中嵌入公平性，并辅以标准化的评估框架。

Figure 2: LLM Dependency in E-commerce