[논문 리뷰] Selfish Robustness and Equilibria in Multi-Player Bandits

Étienne Boursier, Vianney Perchet|arXiv (Cornell University)|2020. 02. 04.

Advanced Bandit Algorithms Research참고 문헌 44인용 수 5

한 줄 요약

이 논문은 다수의 플레이어가 존재하는 다중 플레이어 다중 레버 밴딧 문제에 대해, 개인의 보상을 극대화하는 이기적인 플레이어가 존재하더라도 로그 수준의 리그레트를 달성할 수 있는 최초의 알고리즘을 제안한다. 관측된 충돌을 이용한 페널티 기반 메커니즘을 통해 협력적 행동을 유도함으로써, 동질적 및 이질적 환경 모두에서 거의 최적의 리그레트를 달성한다.

ABSTRACT

Motivated by cognitive radios, stochastic multi-player multi-armed bandits gained a lot of interest recently. In this class of problems, several players simultaneously pull arms and encounter a collision - with 0 reward - if some of them pull the same arm at the same time. While the cooperative case where players maximize the collective reward (obediently following some fixed protocol) has been mostly considered, robustness to malicious players is a crucial and challenging concern. Existing approaches consider only the case of adversarial jammers whose objective is to blindly minimize the collective reward. We shall consider instead the more natural class of selfish players whose incentives are to maximize their individual rewards, potentially at the expense of the social welfare. We provide the first algorithm robust to selfish players (a.k.a. Nash equilibrium) with a logarithmic regret, when the arm performance is observed. When collisions are also observed, Grim Trigger type of strategies enable some implicit communication-based algorithms and we construct robust algorithms in two different settings: the homogeneous (with a regret comparable to the centralized optimal one) and heterogeneous cases (for an adapted and relevant notion of regret). We also provide impossibility results when only the reward is observed or when arm means vary arbitrarily among players.

연구 동기 및 목표

• 플레이어들이 협력적으로 행동하는 것이 아니라 개인의 이익을 극대화할 경우 다중 플레이어 밴딧 알고리즘의 강건성 부족 문제를 해결하기 위해.
• 일부 플레이어가 자신의 보상을 극대화하기 위해 이탈하더라도 낮은 리그레트를 유지할 수 있는 탈중앙화된 알고리즘을 설계하기 위해.
• 이기적인 플레이어에 대한 강건성과 비선형 리그레트가 동시에 달성 가능한 조건을 설정하기 위해.
• 부분적 피드백을 가진 탈중앙화된 다중 플레이어 밴딧 환경에서 나시 균형의 개념을 정형화하고 분석하기 위해.
• 보상만 관측되거나 암호화된 보상 평균이 플레이어 간에 임의로 변할 경우의 불가능성 결과를 도출하기 위해.

제안 방법

• 고정된 시간 $T_{ ext{punish}}$ 이후에 작동하는 페널티 프rotocol을 도입하여, 협력 플레이어들이 농도 부등식을 이용해 높은 확률로 암호화된 보상 평균을 추정한다.
• 그림 트리거 전략을 적용: 플레이어가 이탈한 것을 관측하면(예: 다른 플레이어와 충돌), 나머지 모든 플레이어는 이탈자 선호 암호화된 보상 평균을 피하는 페널티 단계로 전환한다.
• 관측된 충돌을 통해 암묵적 소통을 가능하게 하고 공통의 할당에 협력적으로 도달함으로써, 탈중앙화된 환경에서도 집단적 학습이 가능하도록 한다.
• 균일한 무작위 역할 할당(예: 최상위 암호화된 보상 평균을 선택하는 '지배자')을 사용한 무작위 초기화 단계를 도입하여 공정성을 확보하고 조작을 방지한다.
• 페널티 메커니즘 하에서 이기적인 플레이어의 기대 보상을 유계로 제시하며, 이는 최적의 개인 보상보다 최대 상수 요인($ ilde{ heta}$) 이내임을 보여준다.
• $ ho$-이질성 가정을 활용하여 플레이어 간 평균 비율을 유계로 제한하고, 다양한 선호도 조건 하에서도 리그레트 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 다중 플레이어 밴딧 알고리즘이 충돌을 관측할 수 있을 때, 이기적인 플레이어가 자신의 보상을 극대화하더라도 로그 수준의 리그레트를 달성할 수 있는가?
• RQ2 직접적인 소통 없이 부분적 피드백을 가진 다중 플레이어 밴딧 문제에서, 어떤 조건에서 나시 균형을 설계할 수 있는가?
• RQ3 관측된 충돌을 어떻게 활용하여, 조율 없이도 암묵적 소통을 가능하게 하고 협력을 유도할 수 있는가?
• RQ4 충돌 정보가 관측되지 않고 보상만 관측되는 경우, 이기적인 플레이어에 대한 강건성의 기본 한계는 무엇인가?
• RQ5 암호화된 보상 평균이 플레이어 간에 임의로 변할 경우, 이질적 환경에서 비선형 리그레트를 달성할 수 있는가?

주요 결과

• 제안된 Selfish-Robust MMAB 알고리즘은 충돌을 관측할 수 있을 때 $ ho$-이질성 가정 하에서 이기적인 플레이어 존재 조건 하에서도 로그 수준의 리그레트를 달성한다.
• 동질적 환경에서는 알고리즘이 중심 집중 최적 솔루션과 로그 요인의 차이를 제외하고 동일한 리그레트를 달성한다.
• 이질적 환경에서는 이기적인 플레이어가 최적의 개인 보상보다 상수 요인($ ilde{ heta} = ilde{ heta}( ho)$) 이내의 보상을 얻을 수 있음을 보장한다.
• 불가능성 결과를 증명: 보상만 관측되는 경우, 비선형 리그레트와 이기적인 플레이어에 대한 강건성을 동시에 보장할 수 있는 알고리즘이 존재하지 않는다.
• 다른 불가능성 결과는 암호화된 보상 평균이 플레이어 간에 임의로 변할 경우, 비선형 리그레트와 이기적인 플레이어에 대한 강건성을 동시에 확보할 수 없다는 것을 보여준다.
• 페널티 메커니즘은 악성 행동 조건 하에서도 이기적인 플레이어의 이득을 최적의 개인 보상의 상수 요인으로 제한하는 데 효과적이다.