[논문 리뷰] The Intrinsic Robustness of Stochastic Bandits to Strategic Manipulation

Zhe Feng, David C. Parkes외 1명|arXiv (Cornell University)|2019. 06. 04.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 5

한 줄 요약

이 논문은 보상 수정 예산 제약 조건 내에서 전략적으로 행동하는 암이 존재할 경우 UCB, ε-greedy, 그리고 Thompson Sampling 밴딧 알고리즘이 강건함을 보여준다. 이는 임의의 적응적 조작에 대해 모든 세 알고리즘에 대해 O(max{B, K ln T})의 손실 한계가 성립하며, 이 한계가 나시 균형 전략 하에서도 날카롭게 유지됨을 보여주며, 총 조작 예산 B가 시간 T에 대해 비선형일 경우 강력한 내성성을 의미한다.

ABSTRACT

Motivated by economic applications such as recommender systems, we study the behavior of stochastic bandits algorithms under \emph{strategic behavior} conducted by rational actors, i.e., the arms. Each arm is a \emph{self-interested} strategic player who can modify its own reward whenever pulled, subject to a cross-period budget constraint, in order to maximize its own expected number of times of being pulled. We analyze the robustness of three popular bandit algorithms: UCB, $\varepsilon$-Greedy, and Thompson Sampling. We prove that all three algorithms achieve a regret upper bound $\mathcal{O}(\max \{ B, K\ln T\})$ where $B$ is the total budget across arms, $K$ is the total number of arms and $T$ is length of the time horizon. This regret guarantee holds under \emph{arbitrary adaptive} manipulation strategy of arms. Our second set of main results shows that this regret bound is \emph{tight} -- in fact for UCB it is tight even when we restrict the arms' manipulation strategies to form a \emph{Nash equilibrium}. The lower bound makes use of a simple manipulation strategy, the same for all three algorithms, yielding a bound of $Ω(\max \{ B, K\ln T\})$. Our results illustrate the robustness of classic bandits algorithms against strategic manipulations as long as $B=o(T)$.

연구 동기 및 목표

• 암이 전략적으로 행동함에 따라 UCB, ε-greedy, 그리고 Thompson Sampling 밴딧 알고리즘의 강건성 분석.
• 암을 합리적 에이전트로 모델링하여, 총 예산 내에서 보상을 조작함으로써 당김 빈도를 극대화하려는 행동을 분석.
• 최악의 경우 및 균형 행동을 포함한 임의의 적응적 조작 전략 하에서도 성립하는 손실 한계 설정.
• 표준 게임이론적 해 개념인 나시 균형 하에서 손실 한계를 향상시킬 수 있는지 여부 확인.
• 제한된 및 비제한된 보상 설정 하에서 시뮬레이션을 통해 이론적 결과 검증.

제안 방법

• 각 암을 시간에 걸쳐 총 예산 Bi를 초과하지 않도록 보상 수정이 가능한 전략적 에이전트로 모델링.
• 암의 전략이 밴딧 알고리즘의 선택과 손실에 영향을 주는 스토케스틱 게임으로 상호작용 기술.
• 집중 불등식과 신뢰구간, 사후 평균의 고확률 경계를 사용한 손실 분석.
• 임계값 기반의 암 당김 확률 분해를 통해 손실 상한을 도출. 조작 하에서 최적의 암 선택 확률 분해 활용.
• 간단한 일괄 투자 전략을 사용한 하한 구축을 통해 상한의 날카러움 입증.
• 제한된 보상(베타 분포) 및 다양한 예산 설정 하에서 이론적 결과 시뮬레이션 검증.

실험 결과

연구 질문

• RQ1 클래식한 확률적 밴딧 알고리즘은 암이 예산 제약 조건 내에서 보상을 전략적으로 조작할 경우 낮은 손실을 유지할 수 있는가?
• RQ2 최악의 경우 및 비균형 행동을 포함한 임의의 적응적 조작 전략 하에서도 O(max{B, K ln T})의 손실 한계가 성립하는가?
• RQ3 암이 나시 균형에 따라 행동할 경우에도 O(max{B, K ln T})의 손실 한계가 날카로운가?
• RQ4 총 조작 예산 B가 손실에 미치는 영향은 무엇이며, 암의 수 K와 시간 수평 T에 대한 의존성은 어떠한가?
• RQ5 ε-greedy 및 Thompson Sampling에 대해서도 동일한 하한 구축 전략이 나시 균형을 형성하는가? 아니면 균형 행동 하에서 이 한계가 여전히 느슨한가?

주요 결과

• 모든 세 알고리즘—UCB, ε-greedy, 그리고 Thompson Sampling—는 임의의 적응적 조작 전략 하에서도 O(max{B, K ln T})의 손실 상한을 달성한다.
• UCB에 대해서는 나시 균형 조작 하에서도 하한 Ω(max{B, K ln T})가 존재함으로써 이 손실 한계가 날카롭다는 것이 입증된다.
• ε-gre디 및 톰슨 샘플링에 대해서는 일괄 투자 전략 하에서 일치하는 하한 Ω(max{B, K ln T})가 확립되었지만, 이 전략이 실제로 나시 균형을 형성하는지는 아직 미해결이다.
• 손실은 총 조작 예산 B에 대해 선형적으로 증가하며, B = o(T)이면 최적의 암은 T - o(T)번 당겨진다.
• 이 결과는 제한된 보상과 비제한된 보상 모두에 대해 성립하며, 시뮬레이션을 통해 제한된 설정에서 손실이 B에 선형적으로 의존함을 확인한다.
• 결과적으로 고전적 밴딧 알고리즘은 최악의 경우 또는 균형 행동 하에서도 조작에 강건하며, 예산이 시간에 대해 비선형일 경우 특히 내성적임을 시사한다.