[논문 리뷰] Fighting Fire with Fire: Using Antidote Data to Improve Polarization and Fairness of Recommender Systems

Bashir Rastegarpanah, Krishna P. Gummadi외 1명|arXiv (Cornell University)|2018. 12. 02.

Recommender Systems and Techniques참고 문헌 34인용 수 26

한 줄 요약

이 논문은 알고리즘이나 기존 데이터를 수정하지 않고 행렬 분해 기반 추천 시스템에서의 극단화와 공정성 저하를 줄이기 위해 '항독제 데이터'라고 하는 새로운 데이터 증강 기법을 제안한다. 편향되거나 극단화된 추천을 상쇄하기 위해 전략적으로 합성 사용자 평점을 추가함으로써, 단지 1%의 추가 데이터로도 공정성 및 극단화 지표에서 최대 50% 향상을 달성하며, 시스템 정확도는 유지한다.

ABSTRACT

The increasing role of recommender systems in many aspects of society makes it essential to consider how such systems may impact social good. Various modifications to recommendation algorithms have been proposed to improve their performance for specific socially relevant measures. However, previous proposals are often not easily adapted to different measures, and they generally require the ability to modify either existing system inputs, the system's algorithm, or the system's outputs. As an alternative, in this paper we introduce the idea of improving the social desirability of recommender system outputs by adding more data to the input, an approach we view as providing `antidote' data to the system. We formalize the antidote data problem, and develop optimization-based solutions. We take as our model system the matrix factorization approach to recommendation, and we propose a set of measures to capture the polarization or fairness of recommendations. We then show how to generate antidote data for each measure, pointing out a number of computational efficiencies, and discuss the impact on overall system accuracy. Our experiments show that a modest budget for antidote data can lead to significant improvements in the polarization or fairness of recommendations.

연구 동기 및 목표

• 추천 시스템으로 인한 사회적 해로움, 특히 극단화와 사용자에 대한 불공정한 대응에 대한 우려가 증가하고 있는 데에 대응하기 위해.
• 기존 시스템 알고리즘이나 입력을 수정하지 않고도 공정성 향상과 극단화 감소를 위한 방법을 개발하기 위해.
• 편향된 추천 패턴을 상쇄하는 합성 '항독제 데이터'를 생성하기 위한 프레임워크를 체계화하기 위해.
• 사회적 선호도 향상과 전체 시스템 정확도 사이의 트레이드오프를 평가하기 위해.
• 작은 규모의 잘 선택된 합성 데이터로도 공정성 향상과 극단화 감소에 상당한 기여를 할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 '항독제 데이터'—기존 훈련 데이터에 추가되는 합성 사용자 평점—을 도입하여 행렬 분해 기반 추천 시스템에서의 극단화와 불공정성을 상쇄한다.
• 공정성과 극단화를 미분 가능한 목적 함수로 정식화하고, 최적의 항독제 평점을 생성하기 위해 기울기를 유도한다.
• 개인 공정성의 경우 사용자별 손실 차이를 사용하고, 집단 공정성의 경우 집단 수준의 손실 격차를 사용하며, 극단화의 경우 사용자 간 평점 분산을 사용한다.
• 항독제 평점에 대한 목적 함수의 기울기를 계산하기 위해 최적화 기법을 활용함으로써 타겟팅된 데이터 주입을 가능하게 한다.
• 두 가지 히우리스틱 알고리즘을 제안한다: 하나는 기울기 부호에 기반하고, 다른 하나는 전역 기울기 기반 방향을 사용하여 항독제 평점을 최소 또는 최대 값으로 설정한다.
• 행렬 연산을 활용하고 다시 훈련하지 않음으로써 계산 효율성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 기존에 훈련된 추천 시스템의 입력에 합성 데이터를 추가함으로써 알고리즘을 수정하지 않고도 극단화를 줄이고 공정성을 향상시킬 수 있는가?
• RQ2 어떻게 하면 행렬 분해 모델에서 극단화와 불공정성을 최적으로 감소시키는 항독제 데이터를 생성할 수 있는가?
• RQ3 사회적 지표 향상과 전체 추천 정확도 유지 사이의 트레이드오프는 어떠한가?
• RQ4 공정성 및 극도화 지표 향상을 위해 얼마나 많은 합성 데이터가 필요한가?
• RQ5 동일한 프레임워크를 동시에 여러 공정성 및 극단화 지표에 적용할 수 있는가?

주요 결과

• 단지 1%의 추가 사용자 데이터를 항독제 데이터로 추가함으로써, 테스트된 데이터셋 전반에서 평균적으로 극단화 지표가 50% 감소하였다.
• 이 방법은 개인 및 집단 공정성 모두에서 뚜렷한 향상을 이뤘으며, 민감한 사용자 집단 간 불공정 대응이 측정 가능한 수준으로 감소하였다.
• 항독제 데이터 접근법은 높은 시스템 정확도를 유지하였으며, 대규모 합성 평점 주입에도 불구하고 최소한의 정확도 저하가 발생하였다.
• 기울기 기반 히우리스틱 알고리즘이 기준 랜덤 또는 균일한 데이터 주입 전략보다 우수한 성능을 보였다.
• 닫힌 형태의 해와 행렬 연산을 활용함으로써 계산 효율성이 확보되었으며, 전체 재훈련 없이도 항독제 데이터를 신속하게 생성할 수 있었다.
• 이 프레임워크는 일반화 가능하며, 어떤 미분 가능한 공정성 또는 극단화 지표에도 적용 가능하므로 다양한 사회적 영향 목표에 적응 가능하다.