[논문 리뷰] UP5: Unbiased Foundation Model for Fairness-aware Recommendation

Wenyue Hua, Yingqiang Ge외 3명|arXiv (Cornell University)|2023. 05. 20.

Recommender Systems and Techniques인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(LM)에서 사용자 측 불공정성을 완화하기 위해 대조적 공정성 프롬프팅(CFP)을 사용하는 공정성 인식 추천을 위한 새로운 무편향 기초 모델인 UP5를 제안한다. CFP는 개인화된 프리픽스 프롬프트와 프롬프트 믹스처 모듈을 활용하여 속성 기반의 공정성을 달성하면서도 추천 성능을 유지한다. 이는 MovieLens-1M 및 Insurance 데이터셋에서 최고 수준의 공정성과 정확도를 달성한다.

ABSTRACT

Recent advances in Foundation Models such as Large Language Models (LLMs) have propelled them to the forefront of Recommender Systems (RS). Despite their utility, there is a growing concern that LLMs might inadvertently perpetuate societal stereotypes, resulting in unfair recommendations. Since fairness is critical for RS as many users take it for decision-making and demand fulfillment, this paper focuses on user-side fairness for LLM-based recommendation where the users may require a recommender system to be fair on specific sensitive features such as gender or age. In this paper, we dive into the extent of unfairness exhibited by LLM-based recommender models based on both T5 and LLaMA backbones, and discuss appropriate methods for promoting equitable treatment of users in LLM-based recommendation models. We introduce a novel Counterfactually-Fair-Prompt (CFP) method towards Unbiased Foundation mOdels (UFO) for fairness-aware LLM-based recommendation. Experiments are conducted on two real-world datasets, MovieLens-1M and Insurance, and compared with both matching-based and sequential-based fairness-aware recommendation models. Results show that CFP achieves better recommendation performance with a high level of fairness. Data and code are open-sourced at https://github.com/agiresearch/UP5.

연구 동기 및 목표

• 대규모 언어 모델(LM)이 추천 시스템(RS)에 사용될 때, 특히 사용자 민감 속성에 대해 나타나는 불공정성의 원인을 규명하고 측정하는 것.
• 기존의 사용자 임bedding에 의존하는 공정성 방법이 적용되지 않는 LLM 기반 RS에서의 사용자 측 불공정성 문제를 해결하는 것.
• 기초 모델 전체를 피팅하지 않고도 공정한 추천을 가능하게 하는 파rameter 효율적이고 확장 가능한 방법을 개발하는 것.
• 프롬프트 엔지니어링을 통해 민감 속성의 영향력을 동적으로 조절하여 공정성과 추천 성능의 균형을 이루는 것.
• 다양한 민감 속성과 추천 작업에 일반화 가능한 프레임워크를 제공하는 것.

제안 방법

• 민감 속성(예: 성별, 연령, 결혼 상태 등)이 추천에 얼마나 영향을 미치는지 평가하기 위해 LLM 기반 RS에서의 불공정성을 탐지하기 위한 세 가지 프로빙 방법을 제안한다.
• 민감 속성 별로 개인화된 프리픽스 프롬프트를 사용하여 민감 정보를 분리하면서도 LLM 가중치를 동결하는 프롬프트 기반 방법인 대조적 공정성 프롬프팅(CFP)을 도입한다.
• 다중 민감 속성을 가진 사용자에게 공정한 추천을 생성하기 위해 다수의 단일 속성 프롬프트를 조합하는 프롬프트 믹스처 모듈을 활용한다.
• 추론 중 프리픽스 프롬프트의 토큰을 재가중하는 프롬프트 토큰 재가중기(Prompt Token Reweighter)를 설계하여 공정성과 추천 정확도의 균형을 이룬다.
• 모델 출력에서 민감 속성 누출을 측정하고 감소시키기 위해 적대적 훈련에서 다중 클래스 분류기를 디스criminator로 사용한다.
• 부드러운 프로빙 프롬프트가 디스criminator로써의 성능이 분류기보다 열등하여 공정성 훈련에 충분히 강력하지 않음을 발견한다.

Figure 1. Model Structures of the Probing Methods

실험 결과

연구 질문

• RQ1 LLM 기반 추천 시스템에서 성별, 연령, 결혼 상태와 같은 민감 속성에 따라 사용자 기반 불공정성이 얼마나 심각하게 나타나는가?
• RQ2 기초 모델을 미세조정하지 않고도 프롬프트 기반 방법이 LLM 기반 추천 시스템에서 사용자 측 불공정성을 효과적으로 완화할 수 있는가?
• RQ3 다중 민감 속성에 걸쳐 공정성을 유지하면서도 높은 추천 성능을 확보할 수 있는 방법은 무엇인가?
• RQ4 프롬프트 기반 불공정성 완화에서 공정성과 추천 정확도 간의 트레이드오프는 무엇이며, 이를 어떻게 최적화할 수 있는가?
• RQ5 적대적 훈련에서 공정성 훈련을 위해 부드러운 프로빙 프롬프트가 디스criminator로 충분한가, 아니면 더 강력한 분류기가 필요한가?

주요 결과

• 프로빙 실험 결과, 추천을 위한 LLM이 민감 속성(성별, 연령 등)에 대해 유의미하게 불공정성을 보이며, 모델 출력에서 이러한 속성이 신뢰성 있게 추론됨을 확인했다.
• UP5는 MovieLens-1M 및 Insurance 데이터셋에서 기존의 공정성 인식 모델을 능가하는 최고 수준의 성능을 달성했으며, hit@1 및 AUC 지표 모두에서 승리했다.
• 프롬프트 토큰 재가중기는 공정성과 추천 성능의 균형을 효과적으로 조절하며, 추이 실험 결과 정확도 저하 없이 공정성을 향상시킴을 입증했다.
• 긴 프롬프트 길이는 추천 성능 향상에 기여하지만 공정성은 감소시키며, 높은 디스criminator 가중치는 성능 저하를 감수하고서라도 공정성을 향상시키므로, 이는 조정이 필요한 트레이드오프임을 시사한다.
• 다중 클래스 분류기를 디스criminator로 사용하는 것이 부드러운 프로빙 프롬프트보다 훨씬 효과적이며, 부드러운 프롬프트는 잔여 속성 정보를 탐지하지 못함을 확인했다.
• CFP 방법은 민감 속성 추론(AUC가 약 50%)을 줄이면서도 높은 추천 품질을 유지함으로써, 성능와 공정성의 분리가 성공적으로 이뤄졌음을 입증했다.

Figure 2. P5 sensitive attribute unfairness