[논문 리뷰] Fair Contextual Multi-Armed Bandits: Theory and Experiments

Yifang Chen, Alex Cuellar외 4명|arXiv (Cornell University)|2019. 12. 13.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 9

한 줄 요약

이 논문은 각 사용자가 최소 보장 선택 비율(공정성 제약)을 확보하면서도 맥락 정보를 활용해 성능을 햖थ하는 공정한 맥락 기반 다손대기 밴딧 알고리즘을 제안한다. Follow-the-Regularized-Leader (FTRL) 프레임워크를 사용하고 적응형 정규화를 적용하여, 악성 손실 생성 조건 하에서도 하위선형의 오차와 제한된 공정성 위반을 달성한다. 실험적 검증을 통해 이질적인 사용자 맥락에서 공정성-성능 트레이드오프가 향상됨을 보여준다.

ABSTRACT

When an AI system interacts with multiple users, it frequently needs to make allocation decisions. For instance, a virtual agent decides whom to pay attention to in a group setting, or a factory robot selects a worker to deliver a part. Demonstrating fairness in decision making is essential for such systems to be broadly accepted. We introduce a Multi-Armed Bandit algorithm with fairness constraints, where fairness is defined as a minimum rate that a task or a resource is assigned to a user. The proposed algorithm uses contextual information about the users and the task and makes no assumptions on how the losses capturing the performance of different users are generated. We provide theoretical guarantees of performance and empirical results from simulation and an online user study. The results highlight the benefit of accounting for contexts in fair decision making, especially when users perform better at some contexts and worse at others.

연구 동기 및 목표

• 다양한 맥락에서 성능이 상이한 사용자들이 존재할 때, 다수의 사용자에게 작업을 할당하는 AI 의사결정에서의 공정성을 다루기 위해.
• 고정되거나 정적 손실 분포를 가정하지 않고, 각 사용자에 대해 최소 선택 비율(공정성 제약)을 강제하는 다손대기 밴딧 알고리즘을 설계하기 위해.
• 사용자 및 작업에 대한 맥락 정보를 통합하여 성능를 향상시키면서도 공정성을 유지하기 위해.
• 맥락 분포가 알려지지 않은 상황에서도 오차와 공정성 위반에 대한 이론적 보장을 제공하기 위해.
• 시뮬레이션과 다문화 참여자들을 포함한 온라인 사용자 연구를 통해 접근법을 실증적으로 검증하기 위해.

제안 방법

• 탐색과 공정성의 균형을 위해 엔트로피 함수 $\psi(p) = p\ln p$ 를 기반으로 한 정규화를 적용한 Follow-the-Regularized-Leader (FTRL) 프레임워크를 사용한다.
• 에포크 기반 학습을 통해 시간이 지남에 따라 정책 분포를 정교화하기 위해 적응형 정규화 파라미터 $\eta_k = \sqrt{M\ln K / (\tau_k K)}$ 를 활용한다.
• 밴딧 설정에서의 확률적 피드백을 처리하기 위해 손실 추정기 $\hat{l}_t(i) = l_t(i)/(p_t^{j_t}(i) \cdot \mathbf{1}\{i_t = i\})$ 를 구성한다.
• 모든 암들 $i$ 에 대해 $\sum_j q(j)p^j(i) \geq v$ 를 만족하는 정책 분포의 탈출 가능 집합 $\Omega_k$ 를 유지한다.
• 이중 단계 접근법을 적용한다: 먼저 데이터로부터 맥락 분포 $q$ 를 추정하고, 이후 각 에포크마다 오차를 최소화하기 위해 제약 조건이 있는 최적화 문제를 해결한다.
• 제약 조건 이행 정도를 측정하기 위해 공정성 위반 지표 $\text{Vio} = \mathbb{E}\left[\frac{1}{T}\sum_t \max\left\{0, v - \min_i \sum_j q(j)p_t^j(i)\right\}\right]$ 를 적용한다.

실험 결과

연구 질문

• RQ1 사용자가 맥락에 따라 성능가 변동할 때, 맥락 기반 다손대기 밴딧에서 공정성을 어떻게 공식적으로 강제할 수 있는가?
• RQ2 악성 손실 생성 조건 하에서도 모든 사용자에 대해 최소 선택 비율을 보장하면서 하위선형 오차를 유지할 수 있는 밴딧 알고리즘이 존재하는가?
• RQ3 맥락 정보를 통합할 경우, 작업 할당에서 성능-공정성 트레이드오프에 어떤 영향을 미치는가?
• RQ4 사용자들이 서로 다른 맥락에서 더 잘하는 경우, 공정성 제약 조건은 성능에 어떤 영향을 미치는가?
• RQ5 손실 생성에 대한 통계적 가정 없이 비정적 또는 악성 환경에서 알고리즘이 어떻게 작동하는가?

주요 결과

• 제안된 알고리즘은 $O(\sqrt{TMK\ln K})$ 오차와 $O\left(\sqrt{\frac{M\ln(TM)}{T}} + \frac{M\ln(TM)\ln T}{T}\right)$ 의 공정성 위반을 달성하여 강력한 성능과 공정성을 동시에 확보한다.
• 모든 맥락에서 한 명의 사용자가 지배적인 경우, 공정성 강화는 성능을 악화시키며, 이는 본질적인 트레이드오프를 확인한다.
• 자주 발생하는 맥락에서 높은 성능을 내는 사용자가 존재할 경우, 맥락 분포가 최소 선택 비율을 지원한다면 공정성 제약 조건은 성능에 거의 영향을 주지 않는다.
• 악성 환경에서는 공정성이 유리할 수 있다—특히 Fair UCB와 같은 낙관적 알고리즘의 경우, 낙관적 경계의 남용를 줄여주기 때문이다.
• 사용자 연구에서, 서로 다른 맥락에서 보완적인 강점을 보이는 사용자들이 존재할 경우, 맥락 인식 알고리즘이 비맥락 기반 기준보다 유의미하게 뛰어난 성능을 보였다.
• 사용자 연구 결과, 서로 다른 맥락에서 더 나은 성능를 보이는 참가자 조합에 대해 Fair CB가 가장 뛰어난 성능를 달성하여 맥락 인식 공정성의 가치를 입증했다.