[논문 리뷰] An Algorithmic Framework to Control Bias in Bandit-based Personalization

L. Elisa Celis, Sayash Kapoor외 2명|arXiv (Cornell University)|2018. 02. 23.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 15

한 줄 요약

이 논문은 계층적 그룹 구조를 통해 콘텐츠 그룹 노출에 공정성 제약을 적용함으로써 밴딧 기반 개인화에서 편향을 제어하기 위한 새로운 알고리즘 프레임워크를 제안한다. 두 가지 확장 가능한 밴딧 알고리즘인 Fair-EPS와 Fair-OFUL을 도입하여 낮은 회귀를 달성하면서도 공정성을 유지하며, 실험 결과 x<1/2일 때 1−x 이하의 리스크 차이를 달성하기 위해 단지 20x%의 수익 손실만 발생시킴을 보여줌.

ABSTRACT

Personalization is pervasive in the online space as it leads to higher efficiency and revenue by allowing the most relevant content to be served to each user. However, recent studies suggest that personalization methods can propagate societal or systemic biases and polarize opinions; this has led to calls for regulatory mechanisms and algorithms to combat bias and inequality. Algorithmically, bandit optimization has enjoyed great success in learning user preferences and personalizing content or feeds accordingly. We propose an algorithmic framework that allows for the possibility to control bias or discrimination in such bandit-based personalization. Our model allows for the specification of general fairness constraints on the sensitive types of the content that can be displayed to a user. The challenge, however, is to come up with a scalable and low regret algorithm for the constrained optimization problem that arises. Our main technical contribution is a provably fast and low-regret algorithm for the fairness-constrained bandit optimization problem. Our proofs crucially leverage the special structure of our problem. Experiments on synthetic and real-world data sets show that our algorithmic framework can control bias with only a minor loss to revenue.

연구 동기 및 목표

• 콘텐츠 선택의 과도한 전문화로 인해 발생하는 체계적 편향과 극단화 문제를 해결하기 위해 밴딧 기반 개인화 시스템에서 발생하는 문제를 다루는 것.
• 단일 공정성 지표를 고정하지 않고도 사용자가 사용자 정의 공정성 제약을 콘텐츠 그룹에 설정할 수 있는 일반적이고 확장 가능한 프레임워크를 개발하는 것.
• 고객 수익을 유지하면서도 콘텐츠 노출의 공정성을 보장하는 제약 조건이 있는 밴딧 최적화를 위한 확장 가능하고 낮은 회귀 알고리즘을 설계하는 것.
• 실제 데이터셋과 합성 데이터셋, 특히 YOW 데이터셋을 포함하여 실증적으로 공정성과 수익 성능 간의 트레이드오프를 평가하는 것.

제안 방법

• 각 그룹에서 콘텐츠를 선택할 확률에 선형 상한 및 하한을 부여하여 온라인 그룹 공정성을 정식화함으로써 콘텐츠 노출의 다양성을 보장한다.
• 공정성 제약을 그룹 수준의 확률에 대한 범위로 표현함으로써 콘텐츠 선택 문제를 제약 조건이 있는 최적화 문제로 모델링한다.
• 기존의 비제약 밴딧 알고리즘(예: ε-greedy 및 OFUL)을 계층적이고 하향식 확률 할당 절차를 통합함으로써 개선하여 그룹 제약 조건을 준수하도록 한다.
• 재귀적 트리 기반 할당 전략을 사용: 먼저 잎 노드 수준(개별 암)에서 하한을 충족시킨 후, 상한을 위반하지 않으면서도 최고의 보상을 주는 암에 나머지 확률을 할당한다.
• 동적 범위 조정을 적용: 부모 그룹의 총 확률이 자식 그룹의 상한 합을 초과할 경우, 부모 그룹의 상한을 해당 비율로 감소시킨다.
• 모순을 통한 증명으로 탐욕적 할당 전략이 최적임을 증명함: 제약 조건을 위반하지 않으면서도 최고 보상을 주는 암으로 재할당할 수 있는 임의의 다른 할당 방식은 개선 가능함을 보여줌.

실험 결과

연구 질문

• RQ1 밴딧 기반 개인화에 공정성 제약을 공식적으로 통합할 수 있을까? 이로 인해 수익 또는 회귀가 크게 악화되는가?
• RQ2 사용자 정의 가능한 그룹 제약 조건을 통해 다양한 공정성 지표(예: 리스크 차이, 표현 불균형)를 지원할 수 있는 일반적 프레임워크를 어떻게 설계할 수 있는가?
• RQ3 제약 조건이 있는 최적화 하에서 실세계 및 합성 밴딧 환경에서 공정성과 수익 간의 트레이드오프는 어떠한가?
• RQ4 계층적 그룹 구조와 보상 분포는 공정성 인식 밴딧 알고리즘의 성능과 확장성에 어떤 영향을 미치는가?

주요 결과

• Fair-EPS 및 Fair-OFUL 알고리즘은 합성 및 실세계 데이터 모두에서 제약 조건이 있는 설정에서 낮은 회귀를 달성하고 이론적 최적값으로 신속하게 수렴함.
• 리스크 차이 제약 조건이 1−x 이하일 경우(x<1/2), 단지 20x%의 수익 손실만 발생시켜 공정성과 유틸리티 간의 타당한 트레이드오프를 보여줌.
• 가장 엄격한 공정성 제약 조건(예: 리스크 차이 = 0) 하에서도 최적의 제약 조건이 있는 보상은 비제약 최대 보상의 2배 이내에 머무름.
• 제안된 탐욕적 할당 알고리즘은 g(그룹 계층의 높이)와 k(암의 수)에 대해 O(gk) 시간에 실행되어 웹 스케일 응용에 있어 확장 가능함.
• 프레임워크는 과도한 전문화를 방지함으로써 공정성을 효과적으로 유지함—시스템이 사용자 선호도를 학습함에 따라 그룹 간 콘텐츠 노출가 여전히 다양함.
• 실험 결과 알고리즘 프레임워크가 높은 사용자 참여도를 유지하면서도 편향을 효과적으로 제어함을 보여주어 뉴스 피드 및 광고 시스템에 실질적인 구현 가능성을 시사함.