[論文レビュー] The Intrinsic Robustness of Stochastic Bandits to Strategic Manipulation

Zhe Feng, David C. Parkes+1 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Bandit Algorithms Research参考文献 28被引用数 5

ひとこと要約

本稿は、報酬を予算制約内で変更可能なアームによる戦略的操作に対して、UCB、ε-greedy、Thompson Samplingのバンドイットアルゴリズムが頑健であることを示している。任意の適応的操作のもとで、すべての3つのアルゴリズムに対してO(max{B, K ln T})のレグレットバウンドが成立することを証明し、これはナッシュ均衡戦略に対してもタイトであることが示され、合計操作予算Bが時間Tに対して非線形的である場合に強い耐性を示している。

ABSTRACT

Motivated by economic applications such as recommender systems, we study the behavior of stochastic bandits algorithms under \emph{strategic behavior} conducted by rational actors, i.e., the arms. Each arm is a \emph{self-interested} strategic player who can modify its own reward whenever pulled, subject to a cross-period budget constraint, in order to maximize its own expected number of times of being pulled. We analyze the robustness of three popular bandit algorithms: UCB, $\varepsilon$-Greedy, and Thompson Sampling. We prove that all three algorithms achieve a regret upper bound $\mathcal{O}(\max \{ B, K\ln T\})$ where $B$ is the total budget across arms, $K$ is the total number of arms and $T$ is length of the time horizon. This regret guarantee holds under \emph{arbitrary adaptive} manipulation strategy of arms. Our second set of main results shows that this regret bound is \emph{tight} -- in fact for UCB it is tight even when we restrict the arms' manipulation strategies to form a \emph{Nash equilibrium}. The lower bound makes use of a simple manipulation strategy, the same for all three algorithms, yielding a bound of $Ω(\max \{ B, K\ln T\})$. Our results illustrate the robustness of classic bandits algorithms against strategic manipulations as long as $B=o(T)$.

研究の動機と目的

• ストキャスティックバンドイットアルゴリズム（UCB、ε-greedy、Thompson Sampling）が、報酬を操作可能な戦略的アームに対してどれほど頑健であるかを分析すること。
• アームを合理的なエージェントとしてモデル化し、自身のプル頻度を最大化するために報酬を予算内で操作することを目的とする。
• 最悪ケースや均衡行動を含む、任意の適応的操作戦略のもとで成立するレグレットバウンドを確立すること。
• 標準的なゲーム理論的解概念であるナッシュ均衡のもとで、レグレットバウンドを改善できるかどうかを特定すること。
• 制限付きおよび無制限の報酬設定下で、理論的結果をシミュレーションにより検証すること。

提案手法

• 各アームを、プルされた際に報酬を変更可能であり、時間全体で合計予算Biを有する戦略的エージェントとしてモデル化する。
• アームの戦略がバンドイットアルゴリズムの選択とレグレットに与える影響を、確率的ゲームとして定式化する。
• 集中不等式と信頼区間・事後平均の高確率バウンドを用いて、レグレットを分析する。
• 閾値化されたアームプルに基づき、操作下での最適アーム選択確率を分解することで、レグレットの上界を導出する。
• 単一のインジェクション戦略を用いた下界構築により、バウンドのタイトさを確立する。
• 制限付き報酬（ベータ分布）と varying な予算設定下で、理論的結果をシミュレーションにより検証する。

実験結果

リサーチクエスチョン

• RQ1 アームが予算制約内で報酬を戦略的に操作する場合、古典的なストキャスティックバンドイットアルゴリズムは低レグレットを維持できるか？
• RQ2 最悪ケースや非均衡行動を含む、任意の適応的操作戦略のもとで、O(max{B, K ln T})のレグレットバウンドが成立するか？
• RQ3 アームがナッシュ均衡に従う場合でも、O(max{B, K ln T})のレグレットバウンドはタイトか？
• RQ4 合計操作予算Bがレグレットにどのように影響するか。また、アーム数Kと時間枠Tとの依存関係は何か？
• RQ5 ε-greedyおよびThompson Samplingにおいて、同じ下界構築がナッシュ均衡を形成するか。それとも、均衡戦略下ではバウンドが緩い可能性があるか？

主な発見

• UCB、ε-greedy、Thompson Samplingの3つのアルゴリズムすべてが、任意の適応的操作戦略のもとで、O(max{B, K ln T})のレグレット上界を達成する。
• UCBに関しては、ナッシュ均衡操作のもとでも下界Ω(max{B, K ln T})が示され、バウンドがタイトであることが確認された。
• ε-greディとThompson Samplingについても、ラUMPサム投資戦略のもとで、一致する下界Ω(max{B, K ln T})が確立されたが、この戦略がナッシュ均衡を形成するかどうかは未解決のままである。
• レグレットは合計操作予算Bに線形に依存し、B = o(T)であれば最適アームはT - o(T)回プルされる。
• 制限付きおよび無制限の報酬設定の両方で結果が成り立ち、シミュレーションにより制限付き設定下でレグレットがBに線形に依存することが確認された。
• これらの結果は、古典的バンドイットアルゴリズムが、最悪ケースや均衡行動に対しても、予算が時間Tに対して非線形的であれば、戦略的操作に対して頑健であることを示唆している。