[논문 리뷰] Bias Disparity in Recommendation Systems

Virginia Tsintzou, Evaggelia Pitoura외 1명|arXiv (Cornell University)|2018. 11. 04.

Recommender Systems and Techniques참고 문헌 8인용 수 22

한 줄 요약

이 논문은 추천 시스템에서 사용자 집단의 선호도가 항목 카테고리에 대해 알고리즘적 추천에 의해 강화되거나 왜곡되는 '편향 불균형' 개념을 제안한다. 합성 데이터와 실세계 데이터(MovieLens 1M)를 사용하여, 협업 필터링이 성별 기반 장르 선호도를 악화시킬 수 있음을 입증하고, 유티리티 손실을 최소화하면서 편향 불균형을 제거하는 탐욕적 재순서 알고리즘(GULM)을 제안한다. 이는 반복적인 추천 사이클에서 장기적인 편향 증폭을 크게 감소시킨다.

ABSTRACT

Recommender systems have been applied successfully in a number of different domains, such as, entertainment, commerce, and employment. Their success lies in their ability to exploit the collective behavior of users in order to deliver highly targeted, personalized recommendations. Given that recommenders learn from user preferences, they incorporate different biases that users exhibit in the input data. More importantly, there are cases where recommenders may amplify such biases, leading to the phenomenon of bias disparity. In this short paper, we present a preliminary experimental study on synthetic data, where we investigate different conditions under which a recommender exhibits bias disparity, and the long-term effect of recommendations on data bias. We also consider a simple re-ranking algorithm for reducing bias disparity, and present some observations for data disparity on real data.

연구 동기 및 목표

• 추천 시스템에서 입력 편향과 출력 편향이 다를 때를 정의하고 수식화하는 것.
• 합성 데이터를 사용하여 협업 필터링 알고리즘에서 편향 불균형이 발생하는 조건을 조사하는 것.
• 데이터 편향의 장기적 영향, 특히 그룹 불균형이 존재할 경우의 반복적 추천의 영향을 분석하는 것.
• 성별 및 장르 속성이 있는 실세계 데이터인 MovieLens 1M 데이터셋을 사용하여 편향 불균형을 평가하는 것.
• 추천 유티리티를 유지하면서 편향 불균형을 줄이는 후처리 재순서 알고리즘(GULM)을 설계하고 평가하는 것.

제안 방법

• 논문은 그룹 $ G $ 가 카테고리 $ C $ 에서 선택한 비율을 입력 선호도 비율 $ PR_S(G,C) $ 로 정의하고, 이 비율을 전체 카테고리의 인기도 비율로 나눈 값을 편향 $ B_S(G,C) $ 로 정의한다.
• 출력 편향은 추천 행렬 $ R $ 에서 유사하게 계산되며, 편향 불균형은 입력 편향과 출력 편향의 차이로 측정된다.
• 편향 불균형을 최소화하면서 유티리티 손실을 최소화하기 위해, 과도하게 대표되는 카테고리의 저유용도 추천을 부족하게 대표되는 카테고리의 고유용도 추천으로 교체하는 탐욕적 재순서 알고리즘(GULM)을 제안한다.
• 알고리즘은 사용자별로 작동하며, 편향된 카테고리에서 순위가 가장 낮은 항목과 추천 집합에 포함되지 않은 항목 중 순위가 가장 높은 항목을 쌍으로 묶어, 유티리티 감소를 최소화한다.
• 수용 확률이 유티리티에 따라 달라지는 조건에서 추천 알고리즘의 반복적 적용을 시뮬레이션하여 장기적 편향 변화를 연구한다.
• 실험은 선호도 비율과 그룹 불균형이 다양한 조건에서 발생하는 합성 데이터를 대상으로 하며, 성별 및 영화 장르 속성이 있는 실세계 MovieLens 1M 데이터를 대상으로도 수행된다.

실험 결과

연구 질문

• RQ1 협업 필터링 추천 시스템이 입력 선호도와 출력 추천 간에 편향 불균형을 보이는 조건는 무엇인가?
• RQ2 추천 알고리즘의 반복적 적용이 데이터 편향의 장기적 진화에 어떤 영향을 미치는가?
• RQ3 후처리 재순서 알고리즘이 추천 유티리티를 크게 떨어뜨리지 않으면서 편향 불균형을 어느 정도 줄일 수 있는가?
• RQ4 그룹 불균형은 실세계 추천 데이터에서 편향 불균형의 발생과 지속성에 어떤 영향을 미치는가?
• RQ5 유용도 인식 기반 추천 수용이 반복적 추천 사이클에서 편향의 안정성과 진화에 어떤 영향을 미치는가?

주요 결과

• MovieLens 1M 데이터셋에서 남성 사용자는 액션 영화에 대해 1.39의 입력 편향을 보이며, 추천에서는 이 비율이 1.67로 증가하여 뚜렷한 편향 불균형이 발생한다.
• 여성 사용자는 러브스토리 장르에 대해 0.58의 입력 편향을 보이지만, 출력 편향은 0.28로 감소하여 추천이 여성의 선호도를 오히려 낮게 반영하는 것으로 나타났다.
• 남성과 여성 사용자 그룹을 균형 있게 조정한 후에도 편향 불균형이 지속되며, 이는 그룹 규모의 불균형 때문만은 아님을 시사한다.
• GULM 재순서 알고리즘이 유티리티 손실을 최소화하면서 편향 불균형을 거의 제로 수준으로 줄였으며, 실험적 평가로 확인되었다.
• 재순서 후 편향은 반복적 추천 사이클 동안 안정적으로 유지되며, 높은 선호도 비율일 경우만 약간 증가하는 경향을 보여, 피드백 루프에 대해 강건함을 입증한다.
• 연구는 편향 불균형이 존재할 뿐 아니라, 추천 품질을 유지하면서도 유티리티 인식 기반의 탐욕적 재순서 전략을 통해 체계적으로 교정 가능함을 입증한다.