[논문 리뷰] Beyond Parity: Fairness Objectives for Collaborative Filtering

Sirui Yao, Bert Huang|arXiv (Cornell University)|2017. 05. 24.

Ethics and Social Impacts of AI참고 문헌 16인용 수 154

한 줄 요약

논문은 협업 필터링을 위한 네 가지 새로운 공정성 지표를 정의하고, 이를 행렬 분해의 제약항으로 통합하며, 합성 데이터와 실제 데이터에서 이러한 지표를 정확도 손실이 мал하게 감소시키면서 최소화할 수 있음을 보이고, 불공정성 유형 간의 트레이드오프를 제시합니다.

ABSTRACT

We study fairness in collaborative-filtering recommender systems, which are sensitive to discrimination that exists in historical data. Biased data can lead collaborative-filtering methods to make unfair predictions for users from minority groups. We identify the insufficiency of existing fairness metrics and propose four new metrics that address different forms of unfairness. These fairness metrics can be optimized by adding fairness terms to the learning objective. Experiments on synthetic and real data show that our new metrics can better measure fairness than the baseline, and that the fairness objectives effectively help reduce unfairness.

연구 동기 및 목표

• 협업 필터링 추천 시스템에서 인구 구성 불균형을 넘어선 불공정성의 동기를 제시하고 형식화한다.
• 예측에서 서로 다른 형태의 불공정성을 포착하는 네 가지 서로 다른 공정성 지표를 도입한다.
• 공정성 페널티를 포함하도록 학습 목표를 제시하고 이를 행렬 분해에 최적화한다.
• 합성 데이터와 실제 데이터에서 이러한 공정성 목표가 예측 정확도와 다양한 불공정성 지표에 어떤 영향을 미치는지 평가한다.

제안 방법

• 편향 항이 있는 협업 필터링용 행렬 분해를 사용하며 r_{ij} ≈ p_i^T q_j + u_i + v_j으로 표현한다.
• 데이터 불균형의 두 가지 형태를 정의한다: 모집단 불균형과 관측 편향을 확률적 블록 모델로 설명한다.
• 네 가지 불공정성 지표를 도입한다: 값 불공정성, 절대 불공정성, 과소추정 불공정성, 과대추정 불공정성; 더불어 비동등성 비기준선 U_par를 도입한다.
• 정규화된 공정성 페널티 U(Huber 유사)로 학습 목표를 확장하여 정확도와 공정성 사이의 절충을 최적화한다.
• 합성 데이터와 Movielens 데이터에서 공정성 페널티를 포함한 그라디언트 기반 최적화(Adam)로 학습하고 평가한다.

실험 결과

연구 질문

• RQ1 데이터의 미대표화(모집단 불균형 및 관측 편향)가 협업 필터링의 공정성에 어떤 영향을 미치는가?
• RQ2 새로운 공정성 지표가 추천 시스템에서 인구통계적 동등성보다 서로 다른 불공정성 형태를 더 잘 포착하는가?
• RQ3 공정성 보강 학습 목표가 정확도에 큰 피해 없이 다양한 지표의 불공정성을 줄일 수 있는가?
• RQ4 다양한 공정성 목표가 실제로 서로 어떤 상호작용과 절충을 보이는가?

주요 결과

불공정성	오류	값	절대값	과소추정	과대추정	비동등성
없음	0.317 \pm 1.3e-02	0.649 \pm 1.8e-02	0.443 \pm 2.2e-02	0.107 \pm 6.5e-03	0.544 \pm 2.0e-02	0.362 \pm 1.6e-02
값	0.130 \pm 1.0e-02	0.245 \pm 1.4e-02	0.177 \pm 1.5e-02	0.063 \pm 4.1e-03	0.199 \pm 1.5e-02	0.324 \pm 1.2e-02
절대값	0.205 \pm 8.8e-03	0.535 \pm 1.6e-02	0.267 \pm 1.3e-02	0.135 \pm 6.2e-03	0.400 \pm 1.4e-02	0.294 \pm 1.0e-02
과소추정	0.269 \pm 1.6e-02	0.512 \pm 2.3e-02	0.401 \pm 2.4e-02	0.060 \pm 3.5e-03	0.456 \pm 2.3e-02	0.357 \pm 1.6e-02
과대추정	0.130 \pm 6.5e-03	0.296 \pm 1.2e-02	0.172 \pm 1.3e-02	0.074 \pm 6.0e-03	0.228 \pm 1.1e-02	0.321 \pm 1.2e-02
비동등성	0.324 \pm 1.3e-02	0.697 \pm 1.8e-02	0.453 \pm 2.2e-02	0.124 \pm 6.9e-03	0.573 \pm 1.9e-02	0.251 \pm 1.0e-02

• 관측된 선호가 실제 선호를 반영하더라도 표현되지 않는 하위 표본에서 불공정성이 발생한다.
• 네 가지 제안된 지표는 서로 다른 불공정성 측면을 측정하며 데이터 편향에 따라 서로 다르게 반응한다.
• 어떤 공정성 지표를 최적화하더라도 일반적으로 다른 유형의 불공정성을 감소시키는 경향이 있으며, 약간의 절충이 있다.
• 공정성 보강 행렬 분해는 합성 및 실제 데이터에서 재구성 오차를 크게 증가시키지 않으면서 불공정성을 줄일 수 있으며, 일부 지표(예: 값 공정성)는 과소추정 및 과대추정을 줄이는 효과도 있다.
• 비동등성은 다른 불공정성 지표를 증가시키거나 개선하지 않는 경향이 있어 추천에서 인구통계적 동등성 같은 제약의 한계를 강조한다.
• 과대추정과 과소추정을 모두 벌하는 결합 목표는 실용적 접근법을 제공하지만 모든 지표에서 단일 목표가 우위에 있지는 않다.