[論文レビュー] An Efficient Pessimistic-Optimistic Algorithm for Stochastic Linear Bandits with General Constraints

Xin Liu, Bin Li+2 more|arXiv (Cornell University)|Feb 10, 2021

Advanced Bandit Algorithms Research参考文献 44被引用数 17

ひとこと要約

本稿では、一般の非線形制約を伴う確率的線形バンディット問題に対して、プライマル・デュアルフレームワークを活用した悲観的・楽観的アルゴリズムを提案する。この手法により、ホライズン $T$ に依存しない定数時間 $ au^\prime$ 後に、$\tilde{\mathcal{O}}\bigl(\bigl(\frac{K^{0.75}}{\bar{\delta}} + d\bigr)\sqrt{\tau}\bigr)$ のレグレットとゼロの制約違反を達成する。アルゴリズムはプライマルとデュアルの更新を分離することで計算効率を確保し、デュアルの計算量はアクション空間や特徴空間のサイズに依存せず、制約数にのみ依存する。

ABSTRACT

This paper considers stochastic linear bandits with general nonlinear constraints. The objective is to maximize the expected cumulative reward over horizon $T$ subject to a set of constraints in each round $τ\leq T$. We propose a pessimistic-optimistic algorithm for this problem, which is efficient in two aspects. First, the algorithm yields $ ilde{\cal O}\left(\left(\frac{K^{0.75}}δ+d ight)\sqrtτ ight)$ (pseudo) regret in round $τ\leq T,$ where $K$ is the number of constraints, $d$ is the dimension of the reward feature space, and $δ$ is a Slater's constant; and zero constraint violation in any round $τ>τ',$ where $τ'$ is independent of horizon $T.$ Second, the algorithm is computationally efficient. Our algorithm is based on the primal-dual approach in optimization and includes two components. The primal component is similar to unconstrained stochastic linear bandits (our algorithm uses the linear upper confidence bound algorithm (LinUCB)). The computational complexity of the dual component depends on the number of constraints, but is independent of the sizes of the contextual space, the action space, and the feature space. Thus, the overall computational complexity of our algorithm is similar to that of the linear UCB for unconstrained stochastic linear bandits.

研究の動機と目的

• 一般の非線形制約下での確率的線形バンディット問題に対処すること、特に安全、公平性、予算遵守が求められる状況を想定する。
• ホライズン $T$ に依存しない有限時間でゼロの制約違反を保証するアルゴリズムを設計すること。
• アクション空間や特徴空間のサイズに依存しないようにデュアル更新の計算量を制限することで、計算効率を確保すること。
• 既存のバンディット定式化を一般化し、ホライズンの終了時だけでなく、各ラウンドで満たされなければならない「いつでも累積制約」を導入すること。

提案手法

• アルゴリズムはプライマル・デュアルアプローチを採用し、プライマル部は報酬最大化のための線形上界信頼区間（LinUCB）スタイルの更新を用いる。
• デュアル部は累積的制約違反に基づいて更新されるラグランジュ乗数を維持し、更新の計算量は制約数 $K$ のみに依存する。
• 報酬とコスト推定の信頼区間を組み込むことで、探索と制約満たしのバランスを取る悲観的・楽観的戦略を採用する。
• 時間に依存する学習率 $\epsilon_t = \frac{4d\log(1+T)}{\sqrt{t}}$ と値パラメータ $V_t = \frac{\delta d\sqrt{t}\log(1+T)}{4}$ を用い、レグレットと制約違反を制御する。
• 制約違反の進化を分析し、期待累積コストの上限を導出するために、新規のリャプノフ型関数を導入する。
• すべての $\tau > \tau^\prime = \frac{64d^2\log^2(1+T)}{\delta^2}$ で $\epsilon_t \leq \delta/2$ を維持することで、$\tau^\prime$ 後にゼロの制約違反を達成する。

実験結果

リサーチクエスチョン

• RQ1 一般の非線形制約を伴う確率的線形バンディット問題に対して、計算効率が高く、有限時間でゼロの制約違反を達成するアルゴリズムを設計できるか？
• RQ2 いつでも累積制約下で達成可能なレグレットバウンドは何か？ また、制約数 $K$、次元 $d$、スレイター定数 $\delta$ にどのように依存するか？
• RQ3 未知のコスト関数を伴うバンディット設定において、プライマル・デュアルフレームワークをどのように変更すれば、低レグレットと強い制約満たしを両立できるか？
• RQ4 デュアル更新の計算量をアクション空間や特徴空間のサイズから分離でき、大規模な文脈的問題へのスケーラビリティを実現できるか？

主な発見

• アルゴリズムはラウンド $\tau$ で $\mathcal{R}(\tau) = \tilde{\mathcal{O}}\bigl(\bigl(\frac{K^{0.75}}{\delta} + d\bigr)\sqrt{\tau}\bigr)$ のレグレットバウンドを達成し、これは非線形かつほぼ最適である。
• すべての $\tau > \tau^\prime = \frac{64d^2\log^2(1+T)}{\delta^2}$ で制約違反がゼロとなり、$\tau^\prime$ はホライズン $T$ に依存しない。
• 期待累積コスト違反 $\mathbb{E}[Q(\tau)]$ は $\mathcal{O}\bigl(\frac{d^2\log^2(1+T)}{\delta^2} + \frac{1}{\delta}\bigr)$ で有界であり、長期的な実行可能性を保証する。
• 計算複雑度は制約数 $K$ にのみ依存するため、非制約付きの LinUCB と同等であり、アクション空間や特徴空間のサイズに依存しない。
• リャプノフ関数の解析により、制約違反が定数時間後にはゼロに駆り立てられることを保証する。
• 非線形コスト関数に対してもロバストであり、コスト構造に線形性を仮定せず、医療や予算付きレコメンデーションなどの実世界の問題への応用範囲を広げる。