[논문 리뷰] New Fairness Metrics for Recommendation that Embrace Differences

Sirui Yao, Bert Huang|arXiv (Cornell University)|2017. 06. 29.

Ethics and Social Impacts of AI참고 문헌 14인용 수 20

한 줄 요약

이 논문은 성별과 같은 민감한 속성이 사용자 선호도에 영향을 미치는 경우에 발생하는 편향된 데이터에서 기인하는 부당성 문제를 다루기 위해 협업 필터링 추천 시스템을 위한 네 가지 새로운 공정성 메트릭을 제안한다. 이러한 메트릭을 행렬 분해의 정규화 항으로 통합함으로써, 추천 정확도를 크게 떨어뜨리지 않으면서도 underrepresentation 및 관찰 편향과 같은 다양한 형태의 부당성을 효과적으로 감소시킨다. 이는 합성 데이터 및 실세계 데이터(Movielens)를 통해 검증되었다.

ABSTRACT

We study fairness in collaborative-filtering recommender systems, which are sensitive to discrimination that exists in historical data. Biased data can lead collaborative filtering methods to make unfair predictions against minority groups of users. We identify the insufficiency of existing fairness metrics and propose four new metrics that address different forms of unfairness. These fairness metrics can be optimized by adding fairness terms to the learning objective. Experiments on synthetic and real data show that our new metrics can better measure fairness than the baseline, and that the fairness objectives effectively help reduce unfairness.

연구 동기 및 목표

• 민감한 속성(예: 성별)에 의해 사용자 선호도가 본질적으로 영향을 받는 협업 필터링 환경에서 기존의 공정성 메트릭(예: 민감도 균형)이 가지는 한계를 규명하는 것.
• underrepresentation, 관찰 편향, 예측 분포의 비균형성 등 다양한 형태의 부당성을 포괄하는 새로운 공정성 메트릭을 제안하는 것.
• 이러한 공정성 메트릭을 정규화 항으로 통합한 최적화 목표를 개발하여 더 공정한 추천을 가능하게 하는 것.
• 재구성 오차가 낮게 유지되면서도 다양한 데이터 설정에서의 부당성을 줄이는 것이 실험적으로 검증되는 것.

제안 방법

• 사용자 그룹 예측에서 발생하는 다양한 형태의 부당성을 측정하는 네 가지 새로운 공정성 메트릭(underrepresentation, 관찰 편향, 예측 분포의 비균형성, 절대 부당성)을 제안한다.
• 표준 목표 함수에 공정성 정규화 항을 추가하여 행렬 분해를 변형함으로써, 재구성 오차를 최소화하면서도 부당성을 방지하는 방법을 제시한다.
• 등가 기회 및 잔차 균형에서 영감을 얻은 조건부 예측 확률 기반의 공정성 목표를 정의하여 보호 그룹 간 공정한 대응을 보장한다.
• 500회 반복 동안 Adam 최적화기를 사용하여 공정성 목표를 통합한 모델을 훈련하고, 합성 데이터 및 실세계 Movielens 데이터에서 평가한다.
• 합성 실험에서 실제 세계 데이터 편향을 시뮬레이션하기 위해 이중 단계 샘플링 프로세스를 적용한다. 이는 편향된 사용자 인구 구성과 관찰 비율을 포함한다.
• 평가 및 예측 확률을 별도로 모델링하기 위해 확률적 프레임워크를 활용하여 향후 데이터 불균형 문제를 더 체계적으로 다룰 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사용자 선호도가 성별과 같은 민감한 속성에 의해 자연스럽게 영향을 받는 경우, 민감도 균형과 같은 기존 공정성 메트릭이 협업 필터링에서 왜 실패하는가?
• RQ2 평가가 진정한 선호를 반영하고 있더라도, underrepresentation 및 관찰 편향과 같은 데이터 편향으로 인해 추천 시스템에서 어떤 독특한 형태의 부당성이 발생하는가?
• RQ3 이러한 미묘한 형태의 부당성을 포괄할 수 있고, 행렬 분해 프레임워크 내에서 효과적으로 최적화할 수 있는 새로운 공정성 메트릭을 설계할 수 있는가?
• RQ4 이러한 새로운 공정성 메트릭을 최적화할 경우, 재구성 오차가 크게 증가하지 않으면서 얼마나 부당성을 줄일 수 있는가?
• RQ5 실제로 다양한 공정성 목표 간의 성능를 비교했을 때, 특정 애플리케이션의 공정성 우려 사항에 따라 어떤 목표를 우선시해야 하는가?

주요 결과

• 제안된 공정성 메트릭(underrepresentation, 관찰 편향, 비균형성, 절대 부당성)은 민감도 균형이 감지하지 못하는 다양한 형태의 부당성을 효과적으로 포착한다.
• 어느 하나의 공정성 메트릭에 대해 최적화하면 그 메트릭의 값이 크게 감소하며, 'Over+Under' 조합 목표는 비율을 제외한 모든 메트릭에서 근사 최소값에 도달한다.
• 공정성 목표를 최소화하는 것은 재구성 오차에 거의 영향을 주지 않으며, 이는 정확도를 희생시키지 않고도 공정성을 향상시킬 수 있음을 보여준다.
• 합성 실험에서 가장 불균형한 설정(예: 편향된 사용자 인구 및 관찰 비율)에서 부당성이 가장 높게 나타나, 데이터 편향의 영향을 확인한다.
• Movielens 데이터셋에서 모든 공정성 최적화 모델은 목표 메트릭에서 더 낮은 부당성을 기록했고, 재구성 오차에 유의미한 감소가 없었으며, 실세계 데이터로의 일반화를 검증했다.
• 결과적으로 하나의 공정성 목표가 모든 메트릭에서 다른 목표보다 뛰어나지 않으며, 이는 실무자들이 특정 애플리케이션의 공정성 문제에 따라 목표를 선택해야 한다는 것을 시사한다.