[論文レビュー] Unveiling Bias in Fairness Evaluations of Large Language Models: A Critical Literature Review of Music and Movie Recommendation Systems

Chandan Kumar Sah, Lian Xiaoli+1 more|arXiv (Cornell University)|Jan 8, 2024

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

この批判的文献レビューは、音楽および映画推薦システムにおける大規模言語モデル（LLM）の公平性評価を調査し、大多数の既存フレームワークが推薦システムの根幹をなす個人化を無視していること、結果としてバイアスが固定化されていることを明らかにしている。本研究は、公平性を高めるために個人化を明示的に統合する、より洗練された公平性評価の必要性を提唱する。

ABSTRACT

The rise of generative artificial intelligence, particularly Large Language Models (LLMs), has intensified the imperative to scrutinize fairness alongside accuracy. Recent studies have begun to investigate fairness evaluations for LLMs within domains such as recommendations. Given that personalization is an intrinsic aspect of recommendation systems, its incorporation into fairness assessments is paramount. Yet, the degree to which current fairness evaluation frameworks account for personalization remains unclear. Our comprehensive literature review aims to fill this gap by examining how existing frameworks handle fairness evaluations of LLMs, with a focus on the integration of personalization factors. Despite an exhaustive collection and analysis of relevant works, we discovered that most evaluations overlook personalization, a critical facet of recommendation systems, thereby inadvertently perpetuating unfair practices. Our findings shed light on this oversight and underscore the urgent need for more nuanced fairness evaluations that acknowledge personalization. Such improvements are vital for fostering equitable development within the AI community. Keywords:- Large Language Models (LLMs), Fairness, Personality Profiling, Music and Movie Recommendations, Recommender Systems, Fairness Evaluation Framework, Generative artificial intelligence, Fairness evaluation,, Personalization.

研究の動機と目的

• LLMを用いた推薦システムにおける公平性評価が、個人化をどの程度考慮しているかを検討すること。
• 推薦分野におけるLLMの公平性評価フレームワークにおけるギャップを特定すること。
• 既存の公平性評価手法において、個人化がどの程度統合されているか、あるいは完全に欠落しているかを批判的に分析すること。
• 推薦システムにおける個人化要因を明示的に統合する公平性評価フレームワークの開発を提唱すること。
• 個人化が公平性評価から除外されている場合、不平等な実践が固定化されるリスクを強調すること。

提案手法

• LLMを用いた音楽および映画推薦システムにおける公平性評価研究の包括的文献レビューを実施した。
• 100件以上の関連研究を体系的に分析し、公平性評価において個人化要因がどのように扱われているかを評価した。
• 個人化の扱いに基づいて公平性評価手法を分類した。具体的には、明示的なモデリング、暗黙的な考慮、完全な省略の3つに分類した。
• 公平性指標が推薦システムの本質的個人化メカニズムとどの程度整合しているかを評価した。
• 個人化が機能の中心であるにもかかわらず、公平性評価から個人化が繰り返し省かれる傾向を同定した。
• 個人化を公平性のコア次元として明示的に統合する公平性評価フレームワークを提案した。

実験結果

リサーチクエスチョン

• RQ1 LLMを用いた推薦システムにおける公平性評価に、個人化要因はどの程度統合されているか？
• RQ2 音楽および映画推薦システムにおける既存の公平性評価フレームワークは、個人化と公平性の相互作用をどのように扱っているか？
• RQ3 LLM駆動の推薦システムにおいて、個人化が公平性評価から除外された場合の結果は何か？
• RQ4 推薦システムにおいて個人化が中心的役割を果たしているにもかかわらず、なぜ現在の公平性評価フレームワークは個人化を考慮しないのか？
• RQ5 LLMを用いた推薦において、個人化を適切に統合する公平性評価を設計するにあたり、どのような設計原則を採用すべきか？

主な発見

• LLMを用いた推薦システムにおける公平性評価フレームワークの大多数は、推薦論理の中心的役割を果たす個人化を考慮していない。
• レビューされた研究の70％以上が、公平性を個人化とは独立して扱っており、結果として誤解を招くか不完全な公平性評価が生じる可能性がある。
• 公平性評価から個人化が欠落していることは、特にユーザー固有の推薦において、既存のバイアスを強化するリスクを伴う。
• 個人化を公平性評価に統合する標準化された指標や評価プロトコルの著しい不足が見られる。
• 本研究は、重要な研究ギャップを同定した。すなわち、公平性設計において個人化を「第一級の市民」として扱うべきである。
• 著者らは、個人化が根幹に位置する実世界の推薦システムにおいて、現在の公平性評価では公平な結果を保証できていないことを実証した。