[논문 리뷰] Crank up the volume: preference bias amplification in collaborative recommendation

Kun Lin, Nasim Sonboli외 2명|arXiv (Cornell University)|2019. 09. 13.

Recommender Systems and Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 추천 시스템 내에서 협업 필터링 알고리즘이 선호도 편향을 어떻게 증폭하거나 감소시키는지 조사한다. 메모리 기반 알고리즘(예: UserKNN, ItemKNN)은 특히 주류 그룹에 대해 기존의 선호도 격차를 크게 증폭시키는 반면, 행렬 분해 모델인 BiasedMF와 SVD++는 편향을 감소시키는 경향을 보이며, WRMF는 강력한 校정 능력을 보인다. 이 연구는 알고리즘 선택이 균형 잡힌 결과에 결정적인 영향을 미친다는 점을 드러내며, 극단적인 선호도를 가진 사용자에게 특히 중요하다.

ABSTRACT

Recommender systems are personalized: we expect the results given to a particular user to reflect that user's preferences. Some researchers have studied the notion of calibration, how well recommendations match users' stated preferences, and bias disparity the extent to which mis-calibration affects different user groups. In this paper, we examine bias disparity over a range of different algorithms and for different item categories and demonstrate significant differences between model-based and memory-based algorithms.

연구 동기 및 목표

• 입력 데이터에 존재하는 다양한 협업 필터링 알고리즘이 선호도 편향을 어떻게 전파하거나 왜곡하는지 조사하기 위해.
• 사용자 그룹 간(예: 남성 대 여성)의 편향 격차를 분석하고, 추천의 공정성에 미치는 영향을 평가하기 위해.
• 극단적인 사용자 선호도가 추천 알고리즘이 편향을 증폭하거나 완화하는 데 미치는 영향을 평가하기 위해.
• 특히 공정성에 민감한 응용 분야에서 알고리즘의 매개변수 튜닝이 편향 격차에 영향을 미치는지 평가하기 위해.
• 모델 기반 알고리즘과 메모리 기반 알고리즘의 편향 전파 행동에 대한 차이에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 연구는 사용자 그룹과 항목 카테고리 간의 입력 및 출력 선호도 비율을 비교하기 위해 그룹 기반 편향 격차 지표를 사용한다.
• 선호도 비율은 특정 항목 카테고리(예: SF 대 죄액)에 대해 사용자 그룹 내에서의 평가 비율로 정의된다.
• 편향 격차는 입력 및 출력 선호도 비율 간의 절대 차이로 계산되며, 증폭 또는 감소 정도를 측정한다.
• 비균형적인 사용자 그룹 분포(예: 남성 대 여성)와 극단적 선호도 하위 집단을 포함한 영화 평점 데이터셋을 기반으로 실험를 수행한다.
• 다양한 협업 필터링 알고리즘을 평가한다: 메모리 기반(UseKNN, ItemKNN, BPR) 및 모델 기반(WRMF, BiasedMF, SVD++, RankALS, MostPopular).
• 그룹 간의 편향 격차 차이에 대한 통계적 유의성을 t-검정의 p-값을 통해 평가한다.

실험 결과

연구 질문

• RQ1 RQ1: 다양한 추천 알고리즘이 입력 데이터에 존재하는 기존의 선호도 편향을 생성된 추천 목록으로 어떻게 전파하는가?
• RQ2 RQ2: 다양한 사용자 그룹(예: 남성 대 여성)에 대해 입력과 출력 간의 편향 격차는 어떻게 다른가?
• RQ3 RQ3: 특정 항목 카테고리에 대해 극단적인 선호도(긍정적 또는 부정적)를 가진 개인 사용자에게 편향 격차의 영향은 어떻게 나타나는가?
• RQ4 RQ4: 알고리즘의 매개변수 튜닝이 편향 격차 패턴을 변화시키는가, 특히 공정성에 민감한 맥락에서?

주요 결과

• 메모리 기반 알고리즘인 UserKNN과 ItemKNN는 기존의 선호도 편향을 증폭시키며, 선호도가 높은 장르(예: SF)의 출력 선호도 비율을 증가시키고, 덜 선호되는 장르(예: 죄액)의 비율을 감소시킨다.
• 행렬 분해 모델인 BiasedMF와 SVD++는 입력 선호도 편향을 감소시키며, 주류 장르의 선호도 비율을 낮추고 덜 선호되는 장르의 비율을 높인다.
• WRMF는 강력한 校정 능력을 보이며, 특히 SF/죄액 장르 쌍에 대해 입력 비율에 가까운 안정적인 출력 선호도 비율을 유지한다.
• 극단적인 선호도를 가진 사용자(예: 오직 SF만 시청)의 경우, UserKNN, BPR, WRMF는 초기 선호도를 유지하지만, BiasedMF와 SVD++는 초기 편향을 증폭시킨다.
• 액션/로맨스 장르 쌍의 편향 격차는 UserKNN과 ItemKNN가 주류 그룹의 선호도 편향을 증폭시킴을 보이며, 통계적 유의성은 p-값으로 나타난다.
• 매개변수 튜닝을 통해 정확도가 향상되었음에도 불구하고, 어떤 알고리즘도 기본적인 편향 증폭 또는 감소 행동을 변화시키지 않았으며, 이는 정확도와 공정성이 항상 일치하지는 않음을 시사한다.