[논문 리뷰] Unveiling Bias in Fairness Evaluations of Large Language Models: A Critical Literature Review of Music and Movie Recommendation Systems

Chandan Kumar Sah, Lian Xiaoli외 1명|arXiv (Cornell University)|2024. 01. 08.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 비판적 문헌 고찰은 음악 및 영화 추천 시스템 내 대규모 언어 모델(Large Language Models, LLMs)의 공정성 평가를 조사하며, 기존 평가 프레임워크 대부분이 추천 시스템의 核심 요소인 개인화를 무시하고 있음을 드러내며, 이로 인해 편향이 지속된다고 주장한다. 본 연구는 공정성 평가를 더욱 정교하게 하여 개인화를 명시적으로 통합함으로써 공정한 AI 개발을 보장할 것을 촉구한다.

ABSTRACT

The rise of generative artificial intelligence, particularly Large Language Models (LLMs), has intensified the imperative to scrutinize fairness alongside accuracy. Recent studies have begun to investigate fairness evaluations for LLMs within domains such as recommendations. Given that personalization is an intrinsic aspect of recommendation systems, its incorporation into fairness assessments is paramount. Yet, the degree to which current fairness evaluation frameworks account for personalization remains unclear. Our comprehensive literature review aims to fill this gap by examining how existing frameworks handle fairness evaluations of LLMs, with a focus on the integration of personalization factors. Despite an exhaustive collection and analysis of relevant works, we discovered that most evaluations overlook personalization, a critical facet of recommendation systems, thereby inadvertently perpetuating unfair practices. Our findings shed light on this oversight and underscore the urgent need for more nuanced fairness evaluations that acknowledge personalization. Such improvements are vital for fostering equitable development within the AI community. Keywords:- Large Language Models (LLMs), Fairness, Personality Profiling, Music and Movie Recommendations, Recommender Systems, Fairness Evaluation Framework, Generative artificial intelligence, Fairness evaluation,, Personalization.

연구 동기 및 목표

• LLM 기반 추천 시스템의 공정성 평가가 개인화를 얼마나 반영하고 있는지 분석하기.
• LLM 기반 추천 분야에서의 현재 공정성 평가 프레임워크의 격차를 규명하기.
• 기존 공정성 평가 방법론 내에서 개인화가 얼마나 통합되었거나 생략되었는지의 정도를 철저히 분석하기.
• 추천 시스템 내에서 개인화 요소를 명시적으로 통합하는 공정성 평가 프레임워크 개발을 주장하기.
• 개인화가 공정성 평가에서 생략될 경우 불공정한 관행이 지속될 수 있음을 부각하기.

제안 방법

• LLM 기반 음악 및 영화 추천 시스템의 공정성 평가 연구에 대한 종합적 문헌 고찰을 수행하였다.
• 공정성 평가에서 개인화 요소가 어떻게 다루어지는지 평가하기 위해 100건 이상의 관련 연구를 체계적으로 분석하였다.
• 개인화의 명시적 모델링, 암묵적 고려, 또는 완전한 생략 여부에 따라 공정성 평가 방법을 분류하였다.
• 공정성 지표가 추천 시스템의 본질적 개인화 메커니즘과 얼마나 일치하는지 평가하였다.
• 개인화가 핵심 기능인 시스템에서도 공정성 평가에서 개인화가 반복적으로 생략되는 패턴을 식별하였다.
• 개인화를 공정성의 핵심 차원으로 명시적으로 통합하는 공정성 평가 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 LLM 기반 추천 시스템의 공정성 평가에 개인화 요소가 얼마나 통합되어 있는가?
• RQ2 음악 및 영화 추천 시스템에서의 기존 공정성 평가 프레임워크는 개인화와 공정성의 상호작용을 어떻게 다루는가?
• RQ3 LLM 기반 추천 시스템의 공정성 평가에서 개인화를 생략할 경우 발생하는 결과는 무엇인가?
• RQ4 개인화가 추천 시스템의 핵심 요소임에도 불구하고, 현재 공정성 평가 프레임워크가 개인화를 고려하지 못하는 이유는 무엇인가?
• RQ5 LLM 기반 추천에서 개인화를 적절히 통합하는 공정성 평가를 설계할 때 따라야 할 설계 원칙은 무엇인가?

주요 결과

• LLM 기반 추론 시스템의 대부분 공정성 평가 프레임워크는 추론 논리의 핵심 요소인 개인화를 고려하지 않으며, 이는 여전히 중심적인 역할을 한다.
• 검토된 연구의 70퍼센트 이상이 개인화와 분리된 채로 공정성을 평가하여, 잘못된 또는 불완전한 공정성 평가 결과를 낳을 수 있다.
• 공정성 평가에서 개인화를 생략할 경우, 특히 사용자별 맞춤 추천에서 기존 편향을 강화할 위험이 있다.
• 개인화를 공정성 평가에 통합하는 표준화된 지표나 평가 프로토콜의 부족함이 심각하게 드러나 있다.
• 본 연구는 중요한 연구 격차를 규명한다: 공정성 평가가 개인화를 공정성 설계의 우선 고려 사항으로 여겨야 한다는 점이다.
• 저자들은 현재의 공정성 평가가 개인화가 핵심 요소인 실제 추천 시스템에서 공정한 결과를 보장하는 데에는 부적합하다는 것을 입증한다.