[論文レビュー] Combinatorial Sleeping Bandits with Fairness Constraints

Fengjiao Li, Jia Liu+1 more|arXiv (Cornell University)|Jan 15, 2019

Advanced Bandit Algorithms Research参考文献 31被引用数 8

ひとこと要約

本稿では、組み合わせ的行動、利用不可の腕（スリーピング）、および各腕に対する最小選択割合要件を含む現実世界の最適化問題に対処するため、フェアネス制約付きの新規な組み合わせ的スリーピングMABモデル（CSMAB-F）を提案する。フェアネス保証付き学習（LFG）アルゴリズムを導入し、探索と活用のバランスを取るUCBと、フェアネスを保証するための仮想キューを組み合わせることで、実行可能性最適性を達成し、時間平均のレギュレート上界を $\frac{N}{2\eta} + \frac{\beta_1\sqrt{mNT\log T} + \beta_2N}{T}$ に抑える。$\eta$ の調整により、実験的にレギュレートと収束速度のトレードオフが観察される。

ABSTRACT

The multi-armed bandit (MAB) model has been widely adopted for studying many practical optimization problems (network resource allocation, ad placement, crowdsourcing, etc.) with unknown parameters. The goal of the player here is to maximize the cumulative reward in the face of uncertainty. However, the basic MAB model neglects several important factors of the system in many real-world applications, where multiple arms can be simultaneously played and an arm could sometimes be "sleeping". Besides, ensuring fairness is also a key design concern in practice. To that end, we propose a new Combinatorial Sleeping MAB model with Fairness constraints, called CSMAB-F, aiming to address the aforementioned crucial modeling issues. The objective is now to maximize the reward while satisfying the fairness requirement of a minimum selection fraction for each individual arm. To tackle this new problem, we extend an online learning algorithm, UCB, to deal with a critical tradeoff between exploitation and exploration and employ the virtual queue technique to properly handle the fairness constraints. By carefully integrating these two techniques, we develop a new algorithm, called Learning with Fairness Guarantee (LFG), for the CSMAB-F problem. Further, we rigorously prove that not only LFG is feasibility-optimal, but it also has a time-average regret upper bounded by $\frac{N}{2η}+\frac{β_1\sqrt{mNT\log{T}}+β_2 N}{T}$, where N is the total number of arms, m is the maximum number of arms that can be simultaneously played, T is the time horizon, $β_1$ and $β_2$ are constants, and $η$ is a design parameter that we can tune. Finally, we perform extensive simulations to corroborate the effectiveness of the proposed algorithm. Interestingly, the simulation results reveal an important tradeoff between the regret and the speed of convergence to a point satisfying the fairness constraints.

研究の動機と目的

• 現実世界の応用において、組み合わせ的行動、スリーピング腕、フェアネス制約を統合した包括的なMABモデルが不足しているという問題に対処する。
• 各腕が最小時間割合以上に選択されなければならないという条件を満たしつつ報酬を最大化する新しいCSMAB-Fフレームワークを定式化する。
• 探索と活用のトレードオフとフェアネス制約の両方を同時に処理できるオンライン学習アルゴリズムを開発する。
• 提案されたアルゴリズムに関する実行可能性最適性とレギュレート上界に関する理論的保証を証明する。
• 広範なシミュレーションを通じてアルゴリズムを検証し、レギュレートとフェアネス制約への収束速度のトレードオフを明らかにする。

提案手法

• CSMAB-Fモデルは、標準的なMABを拡張し、最大 $m$ 個の腕を同時に選択可能とし、各ラウンドで腕が利用不可（スリーピング）になる可能性があり、各腕に対して最小選択割合を義務付ける。
• 探索と活用のトレードオフを管理するため、上界信頼区間（UCB）に基づくオンライン学習アルゴリズムをスリーピング腕の存在下でも適用可能に拡張する。
• フェアネス制約を強制するために仮想キュー技術を用い、最小選択割合に違反する場合の動的ペナルティを維持する。
• LFGアルゴリズムはUCBと仮想キューを統合し、可変パラメータ $\eta$ を用いて報酬最大化とフェアネス制約の強制のバランスを取る。
• 時間平均の上界レギュレートは $N$, $m$, $T$, $\beta_1$, $\beta_2$, $\eta$ に依存し、$\eta$ がレギュレートと収束速度のトレードオフを制御する。
• LFGの性能評価のため、$T = 2 \times 10^4$ ラウンドにわたるシミュレーションを実施し、フェアネス無視型のLLRSベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 組み合わせ的行動、スリーピング腕、フェアネス制約を同時にモデル化できる包括的なMABフレームワークをどのように設計できるか？
• RQ2 スリーピング腕と組み合わせ的選択が存在する状況において、報酬最大化とフェアネス制約の両立を効果的に実現するアルゴリズム的手法は何か？
• RQ3 パラメータ $\eta$ のチューニングが、時間平均のレギュレートとフェアネス制約への収束速度のトレードオフにどのように影響するか？
• RQ4 提案されたCSMAB-Fモデルにおいて、実行可能性とレギュレートに関する理論的保証をどのように証明できるか？
• RQ5 導出されたレギュレート上界は実験的に検証可能か？また、観測されたシミュレーション結果と比較して、その上界はどれほどタイトか？

主な発見

• LFGは、$\eta$ の値に関わらず、すべての腕に対して必要な最小選択割合を一貫して満たす実行可能性最適性を達成する。
• シミュレーション結果から、$\eta$ を大きくするとレギュレートが低下することが示され、$\eta \geq 100$ では近似的にゼロのレギュレートが達成される。一方、$\eta = 1000$ では最小のレギュレートが得られるが、収束が最も遅い。
• フェアネス無視型のベースラインであるLLRSは、LFGより低いレギュレートを達成するが、フェアネス制約に違反している—具体的には、腕1の選択割合が最小要件の0.5未満（0.4）に低下している。
• パラメータ $\eta = 100$ のLFGは、低レギュレートと高速収束の両立を図る上で、実用的なトレードオフにおいて $\eta = 1$ や $\eta = 1000$ を上回る性能を示す。
• シミュレーションにおける実測レギュレートは、理論的上界の $\sqrt{\log T / T}$ ではなく、$\log T / T$ の傾向を示しており、上界がタイトではない可能性を示唆している。
• 理論的レギュレート上界は $\frac{N}{2\eta} + \frac{\beta_1\sqrt{mNT\log T} + \beta_2N}{T}$ であり、$T$ が大きい場合には最初の項が支配的となり、第二項は $T$ が増加するにつれて減少する。