[논문 리뷰] Exploring and Mitigating Gender Bias in Recommender Systems with Explicit Feedback

Shrikant Saxena, Shweta Jain|arXiv (Cornell University)|2021. 12. 05.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 사용자별 편향 추정 및 스케일링을 통해 사용자 평가를 탈편향화하는 모델을 제안하여 명시적 피드백을 사용해 추천 시스템 내 성별 편향을 정량화하고 완화한다. 탈편향화된 평가가 UserKNN, ItemKNN, ALS, SVD 등 다양한 알고리즘에서 정확도 손실을 최소화하면서도 편향을 상당히 감소시킴(최대 40%)을 입증하며, 모델에 종속되지 않고 편향 없는 추정 이론에 기반한다.

ABSTRACT

Recommender systems are indispensable because they influence our day-to-day behavior and decisions by giving us personalized suggestions. Services like Kindle, Youtube, and Netflix depend heavily on the performance of their recommender systems to ensure that their users have a good experience and to increase revenues. Despite their popularity, it has been shown that recommender systems reproduce and amplify the bias present in the real world. The resulting feedback creates a self-perpetuating loop that deteriorates the user experience and results in homogenizing recommendations over time. Further, biased recommendations can also reinforce stereotypes based on gender or ethnicity, thus reinforcing the filter bubbles that we live in. In this paper, we address the problem of gender bias in recommender systems with explicit feedback. We propose a model to quantify the gender bias present in book rating datasets and in the recommendations produced by the recommender systems. Our main contribution is to provide a principled approach to mitigate the bias being produced in the recommendations. We theoretically show that the proposed approach provides unbiased recommendations despite biased data. Through empirical evaluation on publicly available book rating datasets, we further show that the proposed model can significantly reduce bias without significant impact on accuracy. Our method is model agnostic and can be applied to any recommender system. To demonstrate the performance of our model, we present the results on four recommender algorithms, two from the K-nearest neighbors family, UserKNN and ItemKNN, and the other two from the matrix factorization family, Alternating least square and Singular value decomposition.

연구 동기 및 목표

• 책 평가 데이터셋 내 성별 편향과 명시적 피드백에서 유도된 추천 내 성별 편향을 정량화하기.
• 편향된 사용자 평가에서 비롯되는 편향의 자기강화 순환 고리를 해결하기.
• 편향된 데이터로 훈련된 경우에도 편향 없는 추천을 생성할 수 있는 모델에 종속되지 않는 방법 개발하기.
• 모든 추천 알고리즘에 입력되기 전에 사용자 평가를 탈편향화하여 공정한 추천 보장하기.
• 정확도를 유지하면서 다양한 알고리즘에서 이 방법의 효과성을 평가하기.

제안 방법

• 모델은 각 사용자의 성별 편향을, 동일한 책에 대해 동료들이 주는 평균 평가의 스케일된 값과 비교하여 추정한다.
• 사용자별 편향 점수를 사용해 개별 평가에 탈편향 변환을 적용하여 진정한 선호도를 편향 없는 추정자로 산출한다.
• 탈편향화된 평가는 어떤 표준 추천 알고리즘에도 입력되어 후속 추천의 공정성을 보장한다.
• 이 방법은 사전 처리(평가 탈편향화)와 사후 처리(공정한 추천 생성) 단계를 모두 포함하는 하이브리드 방식이다.
• 다양한 데이터셋과 알고리즘에서 편향 감소를 검증하기 위해 통계적 유의성 검정(z-검정)을 사용한다.
• 이 방법은 어떤 협업 필터링 또는 행렬 분해 기반 추천 시스템에도 적용 가능하며 모델에 종속되지 않는다.

실험 결과

연구 질문

• RQ1 명시적 피드백에서 유저가 제공한 평가 내 성별 편향은 어떻게 책 추천 시스템에서 정량화할 수 있는가?
• RQ2 사용자별 편향은 얼마나 정확히 추정되고 수정될 수 있으며, 이로 인해 더 공정한 추천이 가능해지는가?
• RQ3 사용자 평가의 탈편향화가 정확도를 훼손시키지 않으면서도 추천 편향을 상당히 감소시키는가?
• RQ4 UserKNN, ItemKNN, ALS, SVD와 같은 다양한 추천 알고리즘에서 탈편향 모델의 성능은 어떻게 달라지는가?
• RQ5 데이터셋 크기와 사용자/아이템 다양성은 편향 추정 및 완화의 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 추천에서 성별 편향을 최대 40% 감소시켰으며, 특히 UserKNN 기반 시스템에서 가장 뚜렷한 감소가 관찰되었다.
• AZ 데이터셋에서는 더 큰 사용자 및 아이템 기반 덕분에 편향 점수 추정이 더 정확해져 편향 감소 효과가 더 두드러졌다.
• UserKNN를 사용할 경우 정확도 손실이 약 10%에 그치면서도 편향을 거의 40% 감소시켜 공정성과 성능 사이의 유리한 트레이드오프를 보였다.
• 통계적 유의성 검정 결과, 모든 알고리즘과 데이터셋에서 편향 감소가 매우 유의미함(p < 10^-5)을 확인했다.
• UserKNN보다 ItemKNN에서 성능이 떨어졌는데, 이는 UserKNN의 사용자 기반 유사도 메커니즘과의 자연스러운 일치 때문이었다.
• 작은 BX 데이터셋에서는 정확도 손실이 더 컸으며, 이는 더 큰 데이터셋이 편향 추정 및 완화의 신뢰성을 높인다는 것을 확인시켰다.