[論文レビュー] Stage-wise Conservative Linear Bandits

Ahmadreza Moradipari, Christos Thrampoulidis+1 more|arXiv (Cornell University)|Sep 30, 2020

Advanced Bandit Algorithms Research参考文献 29被引用数 6

ひとこと要約

本稿では、各行動の期待報酬がベースライン方策の報酬の一定割合以上であることを要件とする線形バンディットにおける安全制約を満たす2つの新しいアルゴリズム、段階的保守的線形トムソンサンプリング（SCLTS）と段階的保守的線形UCB（SCLUCB）を提案する。これらの手法は、それぞれ$ olimits cancel{\mathcal{O}}( olimits\sqrt{T}\log^{3/2}T)$および$ olimits cancel{\mathcal{O}}( olimits\sqrt{T}\log T)$のレグレットバウンドを達成し、ベースライン行動の使用回数を$ olimits cancel{\mathcal{O}}( olimits\log T)$回に著しく削減することで、先行研究を凌駕する。

ABSTRACT

We study stage-wise conservative linear stochastic bandits: an instance of bandit optimization, which accounts for (unknown) safety constraints that appear in applications such as online advertising and medical trials. At each stage, the learner must choose actions that not only maximize cumulative reward across the entire time horizon but further satisfy a linear baseline constraint that takes the form of a lower bound on the instantaneous reward. For this problem, we present two novel algorithms, stage-wise conservative linear Thompson Sampling (SCLTS) and stage-wise conservative linear UCB (SCLUCB), that respect the baseline constraints and enjoy probabilistic regret bounds of order O(\sqrt{T} \log^{3/2}T) and O(\sqrt{T} \log T), respectively. Notably, the proposed algorithms can be adjusted with only minor modifications to tackle different problem variations, such as constraints with bandit-feedback, or an unknown sequence of baseline actions. We discuss these and other improvements over the state-of-the-art. For instance, compared to existing solutions, we show that SCLTS plays the (non-optimal) baseline action at most O(\log{T}) times (compared to O(\sqrt{T})). Finally, we make connections to another studied form of safety constraints that takes the form of an upper bound on the instantaneous reward. While this incurs additional complexity to the learning process as the optimal action is not guaranteed to belong to the safe set at each round, we show that SCLUCB can properly adjust in this setting via a simple modification.

研究の動機と目的

• 臨床試験やオンライン広告など、行動がベースライン方策を下回ってはならない安全制約が重要な応用分野に対応する。
• 各ラウンドで線形ベースライン制約を満たしつつ、累積報酬を最大化するアルゴリズムを開発する。
• 学習者が非最適なベースライン行動をとる回数を、先行研究よりも削減する。
• 報酬のベースラインが未知である場合や制約に関するバンディットフィードバックがある場合の応用拡張を可能にする。

提案手法

• 線形バンディットにおけるトムソンサンプリングおよびUCBフレームワークに保守的制約を組み込んだSCLTSおよびSCLUCBを提案する。
• 各ラウンド$t$において、$\langle x_t, \theta_\star \rangle \geq (1 - \alpha) \langle x_{b_t}, \theta_\star \rangle$を満たす段階的制約を導入する。
• 信頼区間と後方確率サンプリングを用いて、探索と制約の満たし方のバランスを図る。
• ベースライン行動が何回選ばれるかを抑えるための新規な解析フレームワークを導入し、$\mathcal{O}(\log T)$回の使用を達成する。
• わずかな修正で、報酬のベースラインが未知である場合や制約に関するバンディットフィードバックがある場合に対応できるようにアルゴリズムを適応させる。
• 行列濃度不等式（例：行列アズマ）を用いて、共分散行列の最小固有値に対する高確率バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 段階的保守的制約を満たしつつ、低いレグレットを達成する線形バンディットアルゴリズムを設計できるか？
• RQ2 先行研究と比較して、学習者が非最適なベースライン行動をとる回数をどのように削減できるか？
• RQ3 提案されたアルゴリズムは、報酬のベースラインが未知である場合や制約に関するバンディットフィードバックがある場合に適応可能か？
• RQ4 これらの制約下で、保守的線形バンディットアルゴリズムの理論的レグレットバウンドは何か？
• RQ5 SCLTSおよびSCLUCBは、SEGEなどの既存手法と比較して、レグレットとベースライン行動使用回数の点でどのように差をつけるか？

主な発見

• SCLTSは$\mathcal{O}(\sqrt{T}\log^{3/2}T)$のレグレットバウンドを達成し、先行研究の$\mathcal{O}(\sqrt{T}\log T)$バウンドと比較して対数的依存性が改善されている。
• SCLUCBは$\mathcal{O}(\sqrt{T}\log T)$のレグレットバウンドを達成し、制約なしの場合の最良知られたバウンドと一致する。
• ベースライン行動が選ばれる回数が$\mathcal{O}(\log T)$にまで削減され、先行研究の$\mathcal{O}(\sqrt{T})$バウンドと比べて顕著な改善が得られた。
• わずかな修正で、報酬のベースラインが未知である場合や制約に関するバンディットフィードバックがある場合に対応できる。
• SCLUCBは単純な修正により、即時の報酬に対する上界に基づく安全制約にも一般化可能である。
• 実験結果により、SCLUCB2の累積レグレットがAmaniら（2019）の問題依存上界と一致することが確認された。