[논문 리뷰] Recommender Systems Fairness Evaluation via Generalized Cross Entropy

Yashar Deldjoo, Vito Walter Anelli외 3명|arXiv (Cornell University)|2019. 08. 19.

Recommender Systems and Techniques참고 문헌 13인용 수 10

한 줄 요약

이 논문은 균일한 평등성 이상의 정당성 평가를 가능하게 하며 도메인 특화 이상 분포를 통한 정당성의 탄력적 모델링을 허용하는 일반화된 교차 엔트로피(GCE) 기반의 확률적 프레임워크를 제안한다. 이 방법은 실제 분포와 이상 분포를 비교하여 사용자/아이템의 과도 또는 부족한 표현을 정량화하며, 실제 데이터셋에서 사용자 및 아이템 그룹 간의 정당성 측정에서 뛰어난 투명성과 적응성을 입증한다.

ABSTRACT

Fairness in recommender systems has been considered with respect to sensitive attributes of users (e.g., gender, race) or items (e.g., revenue in a multistakeholder setting). Regardless, the concept has been commonly interpreted as some form of equality -- i.e., the degree to which the system is meeting the information needs of all its users in an equal sense. In this paper, we argue that fairness in recommender systems does not necessarily imply equality, but instead it should consider a distribution of resources based on merits and needs. We present a probabilistic framework based on generalized cross entropy to evaluate fairness of recommender systems under this perspective, where we show that the proposed framework is flexible and explanatory by allowing to incorporate domain knowledge (through an ideal fair distribution) that can help to understand which item or user aspects a recommendation algorithm is over- or under-representing. Results on two real-world datasets show the merits of the proposed evaluation framework both in terms of user and item fairness.

연구 동기 및 목표

• 기존의 정당성 지표가 사용자 또는 아이템 그룹 간에 균일한 평등성을 가정하는 데서 비롯하는 한계를 해결하기 위해.
• 도메인 특화 이상 분포를 사용하여 정당성을 기여도와 필요도 기반으로 정의할 수 있도록 허용하는 탄력적이고 확률 기반의 프레임워크를 제안하기 위해.
• 균형 잡힌 표현 외에도 관련성 또는 중요도에 부합하는 유틸리티 분포 기반의 정당성 측정을 위해 정당성 평가를 수행하기 위해.
• 특정 사용자 또는 아이템 그룹의 과도 또는 부족한 표현을 식별하기 위한 투명하고 설명 가능한 방법을 제공하기 위해.
• 다양한 추천 알고리즘 간의 미세한 정당성 행동을 포괄적으로 포착할 수 있음을 실세계 데이터셋을 통해 입증하기 위해.

제안 방법

• 프레임워크는 일반화된 교차 엔트로피(GCE)를 사용하여 실제 추천 분포와 사용자가 정의한 이상적인 정당한 분포 간의 발산을 측정한다.
• 이상적인 정당한 분포는 아이템 수익, 사용자 활동 또는 관련성 기반의 원하는 표현 수준과 같은 도메인 지식에서 유도될 수 있다.
• 사용자 정당성 평가의 경우, 다양한 사용자 그룹 간에 추천된 아이템의 분포를 이상 분포와 비교하여 비균일한 정당성 기준을 허용한다.
• 아이템 정당성 평가의 경우, 균일하게 추천되는 것이 아니라 기여도나 중요도에 비례하여 아이템이 추천되는지 평가한다.
• 이deal 분포를 조정함으로써 프레임워크는 랭킹, 평가, 정확도 이외의 지표 등 다양한 정당성 관점에 대응할 수 있다.
• 이 방법은 특정 알고리즘이 어떤 사용자 또는 아이템 측면을 과도 또는 부족하게 표현하는지 식별함으로써 설명 기능을 제공한다.

실험 결과

연구 질문

• RQ1 인구통계나 민감한 그룹 간의 균일한 평등성 이상의 추천 시스템에서의 정당성은 어떻게 평가할 수 있는가?
• RQ2 확률 기반의 정당성 평가 프레임워크가 도메인 특화 이상 분포를 통합함으로써 기여도 및 필요 기반의 정당성 개념을 얼마나 잘 반영할 수 있는가?
• RQ3 제안된 GCE 기반 프레임워크는 기존의 정당성 지표인 MAD와 비교해 어떻게 더 미세한 정당성 행동을 포착하는가?
• RQ4 이 프레임워크는 추천 결과에서 특정 사용자 또는 아이템 그룹의 과도 또는 부족한 표현을 어떻게 설명할 수 있는가?
• RQ5 실세계 데이터셋을 사용하여 이 프레임워크는 사용자 및 아이템 관점에서 동시에 정당성을 효과적으로 측정할 수 있는가?

주요 결과

• 제안된 GCE 기반 정당성 지표는 직업 추천 챌린지의 우수 수상자 제출 결과가 국적 또는 교육 수준과 같은 원하는 특성을 반영한 이상 분포를 기반으로 할 경우 더 정당한 시스템에 가까운 것으로 확인되었다.
• 이 프레임워크는 이상 분포가 부족한 그룹을 강조할 경우 랜덤 추천기보다 학습된 모델이 정당성 지표에서 뛰어난 성능을 보일 수 있음을 드러내며, 맥락 인식 기반의 정당성 정의의 중요성을 강조한다.
• 균일한 정당성 가정 하에서 BPRMF는 가장 정당한 알고리즘이었으며, 높은 활동도를 가진 사용자에게 추천을 장려할 경우 Random, ItemKNN, SVD++가 유리한 편이었다.
• GCE 지표는 MAD와 달리 사용자 정의 가능한 이상 분포를 지원함으로써 정당성의 미세한 차이를 더 잘 포착할 수 있어 MAD보다 성능이 뛰어나다.
• 결과적으로 GCE 프레임워크는 각 알고리즘이 어떤 사용자 또는 아이템 측면을 과도 또는 부족하게 표현하는지 설명함으로써 더 높은 투명성을 제공한다.
• 이 프레임워크는 랭킹, 평가 등 다양한 지표에서 정당성 측정에 대해 탄력성을 보이며 실세계 응용에서 다수 이해관계자 기반 정당성 평가를 지원한다.