[論文レビュー] Multi-armed Bandits with Compensation

Siwei Wang, Longbo Huang|arXiv (Cornell University)|Nov 5, 2018

Advanced Bandit Algorithms Research被引用数 14

ひとこと要約

本稿は、知られている報酬分布を前提とした、知られている補償付きマルチアームバンディット（KCMAB）問題を導入する。この問題では、コントローラーが短期間のプレイヤーに対して報酬の高い腕（アーム）を探索するようインcentivizeするために金銭的補償を提供し、レギュレート（後悔）を最小化することを目的としている。本稿では、$\frac{1}{2}$-レギュレートと補償の下界を厳密に確立し、$O(\text{log } T)$のレギュレートと補償を達成する3つのアルゴリズムを提案している。これらのアルゴリズムは理論的下界と一致する。

ABSTRACT

We propose and study the known-compensation multi-arm bandit (KCMAB) problem, where a system controller offers a set of arms to many short-term players for $T$ steps. In each step, one short-term player arrives to the system. Upon arrival, the player aims to select an arm with the current best average reward and receives a stochastic reward associated with the arm. In order to incentivize players to explore other arms, the controller provides a proper payment compensation to players. The objective of the controller is to maximize the total reward collected by players while minimizing the compensation. We first provide a compensation lower bound $Θ(\sum_i {Δ_i\log T\over KL_i})$, where $Δ_i$ and $KL_i$ are the expected reward gap and Kullback-Leibler (KL) divergence between distributions of arm $i$ and the best arm, respectively. We then analyze three algorithms to solve the KCMAB problem, and obtain their regrets and compensations. We show that the algorithms all achieve $O(\log T)$ regret and $O(\log T)$ compensation that match the theoretical lower bound. Finally, we present experimental results to demonstrate the performance of the algorithms.

研究の動機と目的

• 長期的なコントローラーが短期プレイヤーに対して補償を用いてアームの探索を促す状況をモデル化すること。
• 予算制約下でも、補償を低く抑えながら後悔を最小化すること。
• KCMABフレームワークにおける後悔と補償の理論的下界を確立すること。
• 後悔と補償の最適なトレードオフを達成するアルゴリズムの設計と分析。
• 理論的結果を実験的に検証し、アルゴリズムの性能を評価すること。

提案手法

• コントローラーが短期プレイヤーにアームを提供し、探索を促すために補償を支払うKCMABモデルを提案する。
• 報酬のギャップとKLダイバージェンスに基づき、補償の理論的下界 $\Theta\left(\sum_i \frac{\Delta_i \log T}{\text{KL}_i}\right)$ を導出する。
• 経験的平均推定値と信頼区間を用いて補償を誘導する、UCBベース、トムソンサンプリングベース、ハイブリッドの3つのアルゴリズムを設計する。
• ベータ＝二項分布のトリックとチェルノフ＝フーディング不等式を用いて、不確実性下での誤ったアーム選択確率を上限付ける。
• 経験的平均の変化を追跡し、時間ステップごとの支払いを上限付けることで、補償コストを分析する。
• 高確率集中不等式を適用し、ランダムな報酬履歴に依存しない形で、後悔と補償が有界であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 インcentivizedマルチアームバンディット設定において、後悔と補償の根本的トレードオフは何か？
• RQ2 既知の報酬分布のもとで、コントローラーが $O(\text{log } T)$ の後悔と補償を同時に達成できるか？
• RQ3 KCMABモデルで $O(\text{log } T)$ の後悔を達成するために必要な理論的最小補償は何か？
• RQ4 UCB やトムソンサンプリングなどの異なる探索戦略は、後悔と補償の観点でどのように性能を発揮するか？
• RQ5 補償コストは、報酬のランダムな履歴に依存せずに上限をもつことができるか？

主な発見

• 本稿では、補償の下界 $\Theta\left(\sum_i \frac{\Delta_i \log T}{\text{KL}_i}\right)$ を確立し、これはタイトであり、報酬ギャップとKLダイバージェンスに依存する。
• 提案された3つのアルゴリズムすべてが、$O(\text{log } T)$ の後悔と $O(\text{log } T)$ の補償を達成しており、理論的下界と一致する。
• 非最適アームが引かれる回数の期待値は $O(\log T)$ で有界であり、これは対数的後悔を保証する。
• 補償コストは $\sum_i \frac{8}{\Delta_i - \varepsilon} \log T + O\left(\frac{N}{\varepsilon^4}\right) + F_2(\bm{\mu})$ で上界付きであり、$F_2(\bm{\mu})$ はモデル固有の定数を表す。
• 分析から、補償は期待報酬ギャップだけでなく、経験的平均の変化と信頼区間にも依存することが示された。
• 実験結果により、アルゴリズムが低い後悔と補償を達成しており、理論的境界の妥当性が裏付けられた。