[논문 리뷰] Investigating Potential Factors Associated with Gender Discrimination in Collaborative Recommender Systems

Masoud Mansoury, Himan Abdollahpouri외 4명|arXiv (Cornell University)|2020. 02. 18.

Recommender Systems and Techniques참고 문헌 9인용 수 7

한 줄 요약

이 연구는 네 가지 알고리즘을 대상으로 프로필 이질성, 평점 엔트로피, 프로필 크기를 분석하여 협업 추천 시스템에서 성별 기반의 공정성 격차를 조사한다. 결과적으로 여성은 이론적 요소들을 통제한 후에도 남성보다 항상 더 정확도가 낮은 추천을 받는 것으로 나타났으며, SVD++는 가장 공정한 성능을 보였다.

ABSTRACT

The proliferation of personalized recommendation technologies has raised concerns about discrepancies in their recommendation performance across different genders, age groups, and racial or ethnic populations. This varying degree of performance could impact users' trust in the system and may pose legal and ethical issues in domains where fairness and equity are critical concerns, like job recommendation. In this paper, we investigate several potential factors that could be associated with discriminatory performance of a recommendation algorithm for women versus men. We specifically study several characteristics of user profiles and analyze their possible associations with disparate behavior of the system towards different genders. These characteristics include the anomaly in rating behavior, the entropy of users' profiles, and the users' profile size. Our experimental results on a public dataset using four recommendation algorithms show that, based on all the three mentioned factors, women get less accurate recommendations than men indicating an unfair nature of recommendation algorithms across genders.

연구 동기 및 목표

• 프로필 이질성, 엔트로피, 프로필 크기가 협업 추천 시스템에서 성별 기반의 불공정성에 기여하는지 조사하기 위해.
• 남성과 여성 간 추천 정확도의 차이가 이 세 가지 사용자 프로필 특성에 의해 설명될 수 있는지 확인하기 위해.
• 남성 및 여성 사용자 그룹 간 공정성을 평가하기 위해 네 가지 추천 알고리즘—UserKNN, ItemKNN, ListRankMF, SVD++—을 평가하기 위해.
• 어떤 알고리즘 접근 방식이 성별 기반의 성능 격차를 완화하거나 악화시키는지 규명하기 위해.

제안 방법

• 사용자의 평점이 항목 평균 평점에서 벗어난 정도를 절대편차로 측정하고, 평가한 항목 수로 정규화하여 프로필 이질성을 측정하였다.
• 사용자의 평점 분포의 샤논 엔트로피를 계산하여 선호도의 정보 다양성을 평가하였다.
• 평균 프로필 크기(평가한 항목 수)를 사용자 활동 및 데이터 가용성의 대리 지표로 사용하였다.
• 공개 데이터셋을 기반으로 네 가지 협업 필터링 알고리즘—UserKNN, ItemKNN, ListRankMF, SVD++—을 평가하여 공정성을 비교하였다.
• 오차보정(기대 평점 정확도에서의 편차)과 정밀도(상위-N 추천 항목 중 관련 항목의 비율)를 사용하여 추천 공정성을 정량화하였다.
• 남성 및 여성 사용자 그룹 20개씩에 대해 프로필 특성과 공정성 지표 간 상관관계를 분석하였으며, 상관계수와 시각화를 활용하였다.

실험 결과

연구 질문

• RQ1 이상적인 평점 행동의 정도가 남성 및 여성 사용자 간 추천 정확도 격차를 설명하는가?
• RQ2 사용자의 평점 프로필 엔트로피가 성별 간 추천 공정성과 어느 정도 상관관계가 있는가?
• RQ3 사용자 프로필 크기와 남성 및 여성 사용자에 대한 추천의 공정성 간에 유의미한 관계가 있는가?
• RQ4 어느 추천 알고리즘이 남성 및 여성 사용자 그룹 간 가장 균형 잡힌 성능을 보이는가?

주요 결과

• 모든 네 알고리즘에서 여성은 프로필 이질성, 엔트로피, 프로필 크기를 통제한 후에도 남성보다 항상 더 낮은 정확도의 추천을 받았다.
• 프로필 이질성은 남성 사용자에게만 오차보정과 양의 상관관계를 보였으며, 이는 관찰된 성별 간 공정성 격차를 설명하지 못한다.
• 평점 엔트로피는 성별 간 강한 양의 상관관계(≈0.9)를 보였지만, 엔트로피가 증가할수록 남성과 여성 간 정밀도 격차가 커졌다.
• 프로필 크기는 오차보정이나 정밀도와 유의미한 상관관계가 없었으며, 이는 이 데이터셋에서 공정성 격차를 이끄는 요소가 아님을 시사한다.
• SVD++는 남성 및 여성 사용자 모두에서 최소한의 오차보정과 유사한 정밀도를 보이며 가장 균형 잡힌 성능을 보였다.
• 이웃 기반 알고리즘(UserKNN, ItemKNN)은 행렬 분해 기반 방법에 비해 특히 정밀도와 오차보정 측면에서 더 강한 성별 기반의 공정성 격차를 보였다.