[논문 리뷰] Bias Disparity in Collaborative Recommendation: Algorithmic Evaluation and Comparison

Masoud Mansoury, Bamshad Mobasher외 2명|TU/e Research Portal|2019. 08. 02.

Recommender Systems and Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 보호 그룹(예: 성별)과 항목 카테고리 간에 사용자가 표명한 선호도와 추천 항목 간 격리 차이(편향 불균형)를 다루는 다양한 공동 추천 알고리즘의 성능을 평가한다. Yelp 데이터셋의 샘플을 사용하여, 이웃 기반, 모델 기반, 신뢰 기반 알고리즘을 비교한 결과, TrustKNN이 높은 항목 커버리지 유지를 바탕으로 편향 불균형을 크게 감소시켜 다른 모델에 비해 공정성과 안정성에서 뛰어난 성능을 보였다.

ABSTRACT

Research on fairness in machine learning has been recently extended to recommender systems. One of the factors that may impact fairness is bias disparity, the degree to which a group's preferences on various item categories fail to be reflected in the recommendations they receive. In some cases biases in the original data may be amplified or reversed by the underlying recommendation algorithm. In this paper, we explore how different recommendation algorithms reflect the tradeoff between ranking quality and bias disparity. Our experiments include neighborhood-based, model-based, and trust-aware recommendation algorithms.

연구 동기 및 목표

• 보호 그룹과 비보호 그룹 간 사용자의 표명된 선호도와 실제 추천 항목 간 격리 차이(편향 불균형)를 반영하는 추천 알고리즘의 작동 방식을 조사하기 위해.
• 다양한 추천 알고리즘에서 순위 품질, 항목 커버리지, 편향 불균형 간의 상충 관계를 평가하기 위해.
• 기존의 이웃 기반 및 모델 기반 방법에 비해 신뢰 기반 알고리즘이 편향 불균형 감소에 미치는 영향을 평가하기 위해.
• 다양한 사용자 선호도를 반영하고 추천에서 불공정한 표현을 줄이는 데 도움이 되는 알고리즘 선택에 실질적인 통찰을 제공하기 위해.

제안 방법

• 사용자 선호도를 항목 카테고리와 성별 기반 사용자 그룹 간 분석하기 위해 공개된 Yelp 데이터셋의 샘플을 사용하였다.
• 다양한 알고리즘을 평가: 이웃 기반(사용자KNN, 항목KNN, TrustKNN), 모델 기반(SLIM, ListRankMF, BiasedMF, SVD++), 신뢰 기반(소셜MF, TrustMF, SoReg).
• 편향 불균형은 그룹의 선호 항목 카테고리와 그들에게 추천된 카테고리 간의 편차로 측정하였다.
• nDCG를 사용해 순위 품질을 평가하였고, 항목 커버리지는 추천에 포함된 항목 제공자 비율로, 모든 카테고리에 대한 평균 편차는 평균 편차로 평가하였다.
• 신뢰 기반 알고리즘의 신뢰 행렬 희소성을 줄이기 위해 전파 모델을 적용하여 성능을 향상시켰다.
• 다양한 하이퍼파rameter 설정에서 결과를 보고하였으며, 안정성을 확보하기 위해 최고 및 최악의 nDCG 값을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 다양한 공동 추천 알고리즘이 보호 그룹과 비보호 그룹 간 항목 카테고리에 걸쳐 편향 불균형을 최소화하는 데 어떻게 작용하는가?
• RQ2 이웃 기반, 모델 기반, 신뢰 기반 추천 알고리즘 간 순위 품질, 항목 커버리지, 편향 불균형 간의 상충 관계는 어떠한가?
• RQ3 신뢰 기반 추천 알고리즘은 기존의 공동 필터링 방법에 비해 편향 불균형을 얼마나 감소시키는가?
• RQ4 신뢰 데이터의 희소성이 신뢰 기반 알고리즘이 편향 불균형 감소에 미치는 성능에 어떤 영향을 미치는가?
• RQ5 더 높은 항목 커버리지를 가진 추천 알고리즘이 모든 카테고리에 걸쳐 평균 편향 불균형을 낮추는 데도 성공할 수 있는가?

주요 결과

• 신뢰 기반 이웃 기반 알고리즘인 TrustKNN은 남성 및 여성 사용자 모두에서 가장 낮은 편향 불균형을 기록하였으며, 여성의 상위 10개 선호 카테고리의 60%와 남성의 50%를 추천하여 선호 카테고리를 반영하였다.
• 이웃 기반 알고리즘, 특히 TrustKNN은 약간 낮은 nDCG 점수에도 불구하고 모델 기반 알고리즘보다 편향 불균형과 항목 커버리지 측면에서 뛰어난 성능을 보였다.
• SLIM은 모델 기반 알고리즘 중에서 가장 균형 잡힌 성능을 보였으며, 높은 nDCG 점수와 낮은 평균 편차, 비교적 높은 항목 커버리지를 확보하였다.
• 무작위 및 대부분의 인기 항목 기반 베이스라인은 선호도 타겟팅이 없어 편향 불균형이 가장 낮았지만, 순위 품질 측면에서 열등하여 공정성과 정확성 간의 상충 관계를 드러내었다.
• SoReg와 같은 신뢰 기반 모델은 상위 10개 선호 카테고리에서 편향 불균형을 감소시켰지만, 모든 카테고리에 대한 평균 편차는 향상되지 않아 일반화 능력에 한계가 있음을 시사하였다.
• 알고리즘 간 성능 격차는 특히 편향 불균형과 항목 커버리지에서 두드러졌으며, 밀도 높은 평가 데이터 하에서 이웃 모델이 공정성 지표에서 더 높은 강건성을 보였다.