[논문 리뷰] Achieving Fairness in the Stochastic Multi-armed Bandit Problem

Vishakha Patil, Ganesh Ghalme외 2명|arXiv (Cornell University)|2019. 07. 23.

Advanced Bandit Algorithms Research참고 문헌 43인용 수 19

한 줄 요약

이 논문은 각 암이 매 라운드마다 사전에 지정된 비율 이상으로 선택됨을 보장함으로써 공정성을 확보하는 스토하스틱 다항 보상 밴딧의 변종인 Fair-MAB 문제를 제안한다. Fair-Learn라는 메타알고리즘을 제안하여 UCB1와 결합할 경우 일정한 r-Regret 성능을 달성하면서도 시간에 관계없이 균일한 공정성을 보장하며, 공정성과 리그레트 성능 사이의 강력한 트레이드오���을 실현한다.

ABSTRACT

We study an interesting variant of the stochastic multi-armed bandit problem, called the Fair-SMAB problem, where each arm is required to be pulled for at least a given fraction of the total available rounds. We investigate the interplay between learning and fairness in terms of a pre-specified vector denoting the fractions of guaranteed pulls. We define a fairness-aware regret, called $r$-Regret, that takes into account the above fairness constraints and naturally extends the conventional notion of regret. Our primary contribution is characterizing a class of Fair-SMAB algorithms by two parameters: the unfairness tolerance and the learning algorithm used as a black-box. We provide a fairness guarantee for this class that holds uniformly over time irrespective of the choice of the learning algorithm. In particular, when the learning algorithm is UCB1, we show that our algorithm achieves $O(\ln T)$ $r$-Regret. Finally, we evaluate the cost of fairness in terms of the conventional notion of regret.

연구 동기 및 목표

• 모든 라운드에서 각 암이 최소한의 비율만큼 선택됨을 보장함으로써 순차적 결정 문제에서의 공정성을 해결한다.
• 보상 최적화와 공정성 제약 조건을 모두 고려하는 새로운 공정성 인식 리그레트 측정치인 r-Regret를 정식화한다.
• 기본 학습 알고리즘의 선택에 관계없이 시간에 걸쳐 균일하게 공정성을 보장하는 메타알고리즘 Fair-Learn를 개발한다.
• 불공정성 허용도 파rameter를 통해 전통적인 리그레트 측면에서 공정성의 비용을 정량화한다.
• 이론적 보장을 실험적으로 검증하여 공정성과 리그레트 성능을 확인한다.

제안 방법

• 공정성 벡터 $ r \in \mathbb{R}^k $를 사용하여 Fair-MAB 문제를 정식화하며, 각 성분 $ r_i $는 매 시간 단계 $ t $ 에서 암 $ i $ 가 최소한의 비율만큼 선택되어야 함을 지정한다.
• r-Regret는 공정성 제약 조건을 만족하는 최적 정책에 대한 기대 리그레트로 정의되며, 표준 리그레트에 공정성 요건을 통합한 것이다.
• Fair-Learn는 임의의 블랙박스 학습 알고리즘(예: UCB1)을 사용하고, 공정성 벡터 $ r $ 에 기반해 성능이 열등한 암들한테는 선택 비율을 확보함으로써 공정성을 강제하는 메타알고리즘이다.
• 알고리즘은 매 시간 단계 $ t $ 에서 각 암 $ i $ 가 최소 $ \lfloor r_i \cdot t \rfloor $ 번 선택됨을 보장하여 결정론적이고 언제나 유효한 공정성 보장을 제공한다.
• 공정성 보장이 기본 학습 알고리즘의 선택과 독립적이므로, 이는 강건하고 모듈러한 설계를 가능하게 한다.
• 이론적 분석을 통해 UCB1이 블랙박스로 사용될 경우 Fair-Learn가 $ O(\ln T) $ 의 r-Regret를 달성함을 입증하였으며, 이는 충분히 큰 시간 수평선에서 성장률이 일정함을 의미한다.

실험 결과

연구 질문

• RQ1 다항 보상 밴딧 알고리즘이 매 라운드마다 각 암에 대해 최소 선택 비율을 보장하면서 누적 보상을 최대화할 수 있는가?
• RQ2 학습 효율성을 훼손하지 않으면서 공정성을 리그레트 프레임워크에 어떻게 공식적으로 통합할 수 있는가?
• RQ3 학습 알고리즘 성능 측면에서 공정성(공정성 벡터 $ r $ 를 통해)과 리그레트 사이의 트레이드오프는 어떻게 되는가?
• RQ4 시간 수평선 $ T $ 가 알려지지 않은 상황에서도 시간에 관계없이 공정성 보장이 달성될 수 있는가?
• RQ5 공정성의 비용(즉, r-Regret 증가량)은 공정성 제약 조건에 따라 어떻게 증가하는가?

주요 결과

• Fair-Learn는 기본 학습 알고리즘의 선택과 관계없이 모든 암에 대해 시간에 관계없는 균일한 공정성 보장을 제공한다.
• UCB1와 조합할 경우 Fair-Learn는 $ O(\ln T) $ 의 r-Regret를 달성하며, 이는 성장률이 일정하여 공정성 제약 조건 하에서도 뛰어난 학습 성능을 보임을 의미한다.
• 공정성 보장이 시간에 걸쳐 균일하게 유지되며, 이는 이전 연구들이 점차적 또는 기대값 기반으로만 공정성을 보장한 것과는 다릅니다.
• 알고리즘은 라운드당 $ O(1) $ 의 계산 오버헤드를 유발하므로, 반복 최적화가 필요한 방법들에 비해 효율적이다.
• 논문은 불공정성 허용도 파rameter $ \alpha $ 를 통해 공정성과 리그레트 사이의 명확한 트레이드오프를 설정하였으며, 공정성의 비용을 정량화하였다.
• 실험적 검증을 통해 이론적 결과가 실제로 성립하는 것을 확인하였으며, Fair-Learn가 실질적으로 낮은 r-Regret를 유지하면서도 공정성을 유지함을 보였다.