[論文レビュー] A survey on fairness of large language models in e-commerce: progress, application, and challenge

Qingyang Ren, Zilin Jiang+7 more|arXiv (Cornell University)|May 15, 2024

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本サーベイは、eコマースにおける大規模言語モデル（LLM）の公平性について包括的な分析を提供し、製品レビュー、レコメンデーション、翻訳、Q&Aシステムにおける応用を検討するとともに、トレーニングデータおよびアルゴリズムからのバイアスを特定する。本稿は、改善された公平性メトリクスを提案し、AI開発ライフサイクル全体におけるバイアス低減を提唱するとともに、公平で透明性があり信頼できるeコマースAIシステムを実現するための学際的協働の必要性を強調する。

ABSTRACT

This survey explores the fairness of large language models (LLMs) in e-commerce, examining their progress, applications, and the challenges they face. LLMs have become pivotal in the e-commerce domain, offering innovative solutions and enhancing customer experiences. This work presents a comprehensive survey on the applications and challenges of LLMs in e-commerce. The paper begins by introducing the key principles underlying the use of LLMs in e-commerce, detailing the processes of pretraining, fine-tuning, and prompting that tailor these models to specific needs. It then explores the varied applications of LLMs in e-commerce, including product reviews, where they synthesize and analyze customer feedback; product recommendations, where they leverage consumer data to suggest relevant items; product information translation, enhancing global accessibility; and product question and answer sections, where they automate customer support. The paper critically addresses the fairness challenges in e-commerce, highlighting how biases in training data and algorithms can lead to unfair outcomes, such as reinforcing stereotypes or discriminating against certain groups. These issues not only undermine consumer trust, but also raise ethical and legal concerns. Finally, the work outlines future research directions, emphasizing the need for more equitable and transparent LLMs in e-commerce. It advocates for ongoing efforts to mitigate biases and improve the fairness of these systems, ensuring they serve diverse global markets effectively and ethically. Through this comprehensive analysis, the survey provides a holistic view of the current landscape of LLMs in e-commerce, offering insights into their potential and limitations, and guiding future endeavors in creating fairer and more inclusive e-commerce environments.

研究の動機と目的

• eコマースプラットフォームに適用された大規模言語モデル（LLM）における公平性の現状を検討すること。
• トレーニングデータおよびモデルアーキテクチャのバイアスが、eコマース応用において差別的結果をもたらす仕組みを同定すること。
• 性別、人種、職業などの分野におけるLLM生成コンテンツのバイアスを評価するための、既存の公平性メトリクスおよびベンチマークを評価すること。
• eコマースにおけるAI開発ライフサイクル全体に公平性を統合するためのフレームワークを提示すること。
• グローバルeコマースエコシステムにおけるLLMの導入を、より公平で、透明性があり、包括的である方向に進めるための今後の研究を導くこと。

提案手法

• eコマースにおけるLLM開発の原則（事前学習、ファインチューニング、プロンプト工学など）を体系的にレビューする。
• 製品レビュー、レコメンデーション、翻訳、Q&Aシステムといったeコマースの主要応用分野における公平性の課題を分類・分析する。
• 内挿的および外挿的公平性メトリクスを評価し、BOLD（オープンエンドド言語生成におけるバイアス）および対向センチメントバイアス（CSB）を含む。
• 感傷的差異を感受性属性ごとに定量化するために、ワッサーシュタイン-1距離を用いた形式的な公平性メトリクスを導入する。
• データ収集からデプロイメントに至るまでのAIパイプラインの各段階に公平性チェックを統合することを提言する。
• 分野適応および学際的協働を提唱し、多様なeコマース文脈にわたる公平性に配慮したモデルのスケーリングを可能にする。

Figure 1: An overview of the fairness of e-commerce LLMs

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータおよびモデルアーキテクチャのバイアスは、eコマースLLMにおける公平性にどのように影響するか？
• RQ2 製品レコメンデーションやカスタマーサポートといった特定のeコマース応用分野における主な公平性の課題は何か？
• RQ3 BOLD や CSB といった現在のベンチマークは、人種的・文化的なグループに跨る公平性を測定するためにどれほど有効か？
• RQ4 性的別パラメータの平等性を超えて、eコマース環境において公平性を的確に捉えることができるメトリクスおよび評価フレームワークは何か？
• RQ5 eコマースLLMのAI開発ライフサイクル全体に公平性を体系的に統合する方法は何か？

主な発見

• eコマースにおけるLLMは、キュレートされていないインターネットデータから社会的バイアスを引き継ぎ、拡大させ、感傷、毒性、表現の分野で差別的結果をもたらす傾向がある。
• BOLDベンチマークは、自然言語プロンプトを用いて、性別、人種、宗教、職業、政治的イデオロギーの5分野に跨る大規模なバイアス評価を可能にする。
• 対向センチメントバイアス（CSB）メトリクスは、ワッサーシュタイン-1距離を用いて公平性を定量化する：I.F.は対向ペア間の個人レベル公平性を測定し、G.F.は集団レベルの感情差を評価する。
• 公平性メトリクスの結果、感受性属性が異なる対向ペアに対してモデルが顕著に異なる感情スコアを生成することが判明し、測定可能なバイアスが存在することが示された。
• 現在の公平性評価は、静的ベンチマークに依存しており、実世界のデプロイメントパイプラインへの統合が不十分である。
• 今後の進展は、標準化された評価フレームワークを支援する形で、データ収集、モデルトレーニング、継続的モニタリングに公平性を統合することにかかっている。

Figure 2: LLM Dependency in E-commerce