[논문 리뷰] Calibrated Fairness in Bandits

Yang Liu, Goran Radanović외 3명|arXiv (Cornell University)|2017. 07. 06.

Advanced Bandit Algorithms Research인용 수 44

한 줄 요약

이 논문은 Dwork 등이 제안한 '유사한 개인은 유사하게 대우하는' 원칙을 보상 분포가 유사한 팔들에 적용하여 확률적 다중 팔 밴드잇에서 校정된 공정성(calibrated fairness)을 도입한다. 유사한 보상 분포를 가진 팔들이 유사한 확률로 선택되도록 보장하기 위해, 초기 균일 탐색을 갖는 톰슨 샘플링 변종을 제안하며, 이는 $\tilde{O}((kT)^{2/3})$의 공정성 위험(regret)과 총 변동 거리(total variation distance) 기준 $(2,\epsilon_2,\delta)$-공정성을 달성한다. 이는 팔들이 최적일 가능성이 높은 비율에 비례하여 선택됨을 보장한다.

ABSTRACT

We study fairness within the stochastic, \emph{multi-armed bandit} (MAB) decision making framework. We adapt the fairness framework of "treating similar individuals similarly" to this setting. Here, an `individual' corresponds to an arm and two arms are `similar' if they have a similar quality distribution. First, we adopt a {\em smoothness constraint} that if two arms have a similar quality distribution then the probability of selecting each arm should be similar. In addition, we define the {\em fairness regret}, which corresponds to the degree to which an algorithm is not calibrated, where perfect calibration requires that the probability of selecting an arm is equal to the probability with which the arm has the best quality realization. We show that a variation on Thompson sampling satisfies smooth fairness for total variation distance, and give an $ ilde{O}((kT)^{2/3})$ bound on fairness regret. This complements prior work, which protects an on-average better arm from being less favored. We also explain how to extend our algorithm to the dueling bandit setting.

연구 동기 및 목표

• 유사한 보상 분포를 가진 팔들이 유사한 확률로 선택되도록 보장함으로써 확률적 다중 팔 밴드잇에서의 공정성 문제를 다루는 것.
• 공정성 위험(regret)을 정의하고, 이는 선택 확률이 해당 팔이 최고의 실현값을 가질 확률과 일치하는 校정된 공정성에서의 이탈 정도를 측정하는 것으로, 이를 최소화하는 것.
• 쌍대 밴드잇 설정으로의 공정성 프레임워크 확장을 위해 쌍대 비교(pairwise comparison)를 위한 플래켓-루스(Plackett-Luce) 모델을 적용하는 것.
• 수정된 톰슨 샘플링 알고리즘에 대해 공정성 위험과 부드러운 공정성에 대한 이론적 경계를 제공하는 것.
• 순차적 의사결정에서 校정된 공정성, 부드러운 공정성, 표준 위험 사이의 상호 상충 관계를 탐색하는 것.

제안 방법

• 선택 확률이 해당 팔이 최고의 실현값을 가질 확률과 일치해야 하는 校정된 선택에서의 이탈 정도를 측정하는 공정성 위험 메트릭을 제안한다.
• 모든 팔이 균일하게 탐색되는 초기 단계를 갖는 수정된 톰슨 샘플링 알고리즘을 도입하여 부드러운 공정성과 캘리브레이션을 보장한다.
• 총 변동 거리(total variation distance)를 사용하여 팔 선택 확률 간의 유사성과 보상 분포 유사성 간의 유사성을 정량화한다.
• 쌍대 밴드잇 설정에서 쌍대 비교 통계량을 활용하여 플래켓-루스 모델 하에서 팔이 1위로 순위가 매겨질 확률을 추정한다.
• 집중 경계(concentration bounds)를 적용하여 쌍대 승리 비율에서 품질 파라미터 비율을 추정함으로써 최고 팔의 확률을 추정한다.
• 모든 팔 쌍에 대해 탐색을 균일하게 분배하고, 추정된 최고 팔 확률을 기반으로 선택을 수행하는 Fair_SD_DTS라는 쌍대 밴드잇 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 보상 분포가 유사한 팔들이 유사한 확률로 선택되도록 보장할 수 있는 밴드잇 알고리즘을 설계할 수 있는가?
• RQ2 선택 확률이 최고일 가능성이 높은 팔의 확률과 일치하는 校정된 공정성—즉, 선택 확률이 최고일 가능성과 일치하는 조건—은 어떻게 정의하고 최소화할 수 있는가?
• RQ3 초기 균일 탐색을 갖는 톰슨 샘플링 변종의 공정성 위험은 확률적 밴드잇 설정에서 얼마인가?
• RQ4 쌍대 밴드잇 설정에서 쌍대 비교를 통해 공정성 프레임워크를 확장할 수 있는가?
• RQ5 이러한 알고리즘에 대해 공정성 위험과 부드러운 공정성에 대한 이론적 경계는 무엇인가?

주요 결과

• 초기 균일 탐색을 갖는 수정된 톰슨 샘플링 알고리즘은 임의의 $\epsilon_2 > 0$ 및 $\delta > 0$ 에 대해 총 변동 거리 기준 $(2,\epsilon_2,\delta)$-공정성을 달성한다.
• 이 알고리즘의 공정성 위험은 $\tilde{O}((kT)^{2/3})$ 이하로 경계되며, 이는 비선형이지만 비공정 방법에 비해 상당한 향상이다.
• 쌍대 밴드잇 설정에서는 Fair_SD_DTS가 쌍대 비교 통계량과 플래켓-루스 모델을 활용하여 공정성 위험을 $\tilde{O}(k^{4/3}T^{2/3})$ 이하로 경계한다.
• 알고리즘은 총 변동 거리 기반으로 보상 분포 유사성에 비례하여 선택 확률의 차이를 제약함으로써 부드러운 공정성을 보장한다.
• 레마 5.1은 쌍대 승리 비율 추정 오차가 $\leq \epsilon$ 이하일 경우, 플래켓-루스 모델 하에서 최고 팔 확률 추정 오차가 $O(k\epsilon)$ 이하가 됨을 보여준다.
• 이론적 분석은 탐색 단계의 크기가 $O(1/\epsilon_2^2)$ 와 $O(\log(1/\delta))$ 에 비례할 때 공정성 위험이 최소화됨을 확인한다.