[論文レビュー] Contextual Combinatorial Conservative Bandits

Xiaojin Zhang, Shuai Li+2 more|arXiv (Cornell University)|Nov 26, 2019

Advanced Bandit Algorithms Research参考文献 35被引用数 4

ひとこと要約

本稿は、各ラウンドで複数のアームを選択しながら即時報酬の安全性を保証する文脈的組み合わせ的保守的バンディットのための新規フレームワークを導入する。保守的報酬が既知か未知かに応じた2つのUCBベースのアルゴリズムを提案し、$ ilde{O}(d^2 + dackslashackslashsqrt{T})$ のレグレットバウンドを達成。高次元設定では先行研究よりも tighter なバウンドを実現。

ABSTRACT

The problem of multi-armed bandits (MAB) asks to make sequential decisions while balancing between exploitation and exploration, and have been successfully applied to a wide range of practical scenarios. Various algorithms have been designed to achieve a high reward in a long term. However, its short-term performance might be rather low, which is injurious in risk sensitive applications. Building on previous work of conservative bandits, we bring up a framework of contextual combinatorial conservative bandits. An algorithm is presented and a regret bound of $ ilde O(d^2+d\sqrt{T})$ is proven, where $d$ is the dimension of the feature vectors, and $T$ is the total number of time steps. We further provide an algorithm as well as regret analysis for the case when the conservative reward is unknown. Experiments are conducted, and the results validate the effectiveness of our algorithm.

研究の動機と目的

• リスクセンシティブな応用において、特に即時的安全性保証が欠如している組み合わせ的・文脈的バンディット設定に対処すること。
• 複数のアームが選択され、報酬が非線形である文脈的組み合わせ的設定に、保守的バンディットフレームワークを拡張すること。
• 計算的に効率的でありながら、各時刻で安全性を維持し、長期的な報酬を最大化するアルゴリズムを設計すること。
• 従来の保守的バンディット手法と比較して、高次元特徴空間におけるよりタイトなレグレットバウンドを提供すること。
• 保守的報酬閾値が既知か未知かの両方の状況を扱い、実用的展開におけるロバストネスを確保すること。

提案手法

• 文脈的特徴に基づき、1ラウンドあたり最大$K$個のアームを選択する文脈的組み合わせ的保守的バンディットフレームワークを提案。半バンドイットフィードバックを用いる。
• 1ラウンドあたりの期待累積報酬に下限を設定することで、保守的報酬制約を維持するUCBベースのアルゴリズム（CCConUCB）を設計。
• アーム集合$A$と文脈$w$に対して非線形報酬関数$f(A,w)$を用い、2つの弱い仮定（例：有界性と滑らかさ）を満たす。
• 初期ラウンドでも選択されたアーム集合の期待報酬が、保守的ベースラインの$1-\alpha$以上であることを保証する保守的ポリシーを統合。
• 高次元的文脈において、よりタイトなバウンド$ ilde{O}(d^2 + dackslashackslashsqrt{T})$ を導出するための新規なレグレット解析技術を採用。これは、先行研究の$O(dackslashackslashsqrt{T}\log T + (d\log d)^2)$ のバウンドを改善する。
• 保守的報酬を未知の場合に適応するため、履歴データからベースライン報酬を推定し、信頼区間を用いて安全性を維持する。

実験結果

リサーチクエスチョン

• RQ1 文脈的組み合わせ的バンディットアルゴリズムは、長期的累積報酬を最大化しつつ、即時報酬の安全性を維持できるか？
• RQ2 保守的バンディット原理は、非線形報酬関数を持つ組み合わせ的行動集合へどのように拡張できるか？
• RQ3 高次元的文脈的設定における保守的アルゴリズムの理論的レグレット性能はいかほどか？
• RQ4 制約違反の観点とレグレットの観点から、非保守的アルゴリズムと比較して、本アルゴリズムの性能はどの程度か？
• RQ5 保守的係数$\alpha$は、収束速度と完全に保守的なポリシーを上回るまでの時間にどのように影響を与えるか？

主な発見

• 提案されたCCConUCBアルゴリズムは、初期ラウンドでさえも、累積報酬が保守的ベースラインの$1-\alpha$以上を保証する。
• アルゴリズムは$ ilde{O}(d^2 + dackslashackslashsqrt{T})$ のレグレットバウンドを達成し、高次元設定では先行研究の$O(dackslashackslashsqrt{T}\log T + (d\log d)^2)$ のバウンドよりもタイトである。
• 標準的な文脈的バンディット（$K=1$）に還元した場合、レグレットバウンドは$O(dackslashackslashsqrt{T} + d^{3/2})$ に簡略化され、[15]の結果である$O(dackslashackslashsqrt{T}\log T + (d\log d)^2)$ よりも改善される。
• 数値シミュレーションでは、CCConUCBは非保守的UCBよりも低いレグレットを達成し、制約違反も回避している。特に$\alpha$が小さい場合に顕著である。
• $\alpha$が大きいと、探索機会が増加するため、収束が速く、完全に保守的なポリシーをより早く上回る。
• $\alpha$が小さいと、探索が抑えられ、レグレットの劣化が遅くなるが、依然として大きな制約違反を回避するため、強い安全性保証が示された。