[論文レビュー] Stochastic Contextual Bandits with Known Reward Functions

Pranav Sakulkar, Bhaskar Krishnamachari|arXiv (Cornell University)|Apr 30, 2016

Advanced Bandit Algorithms Research参考文献 14被引用数 15

ひとこと要約

本稿では、ネットワーキング応用（動的チャネル選択やエネルギー回収など）で一般的な非線形報酬関数が既知である確率的コンテキストバンドイット問題に対する、DCB(ε) および CCB(ε,δ) という新しいアルゴリズムを提案する。報酬構造が既知であることを利用することで、時間に対して対数的、非最適アーム数に線形的に依存する（全アーム数ではなく）レグレットを達成し、連続的文脈においてサブ線形レグレットとストレージのトレードオフを実現する。

ABSTRACT

Many sequential decision-making problems in communication networks can be modeled as contextual bandit problems, which are natural extensions of the well-known multi-armed bandit problem. In contextual bandit problems, at each time, an agent observes some side information or context, pulls one arm and receives the reward for that arm. We consider a stochastic formulation where the context-reward tuples are independently drawn from an unknown distribution in each trial. Motivated by networking applications, we analyze a setting where the reward is a known non-linear function of the context and the chosen arm's current state. We first consider the case of discrete and finite context-spaces and propose DCB($ε$), an algorithm that we prove, through a careful analysis, yields regret (cumulative reward gap compared to a distribution-aware genie) scaling logarithmically in time and linearly in the number of arms that are not optimal for any context, improving over existing algorithms where the regret scales linearly in the total number of arms. We then study continuous context-spaces with Lipschitz reward functions and propose CCB($ε, δ$), an algorithm that uses DCB($ε$) as a subroutine. CCB($ε, δ$) reveals a novel regret-storage trade-off that is parametrized by $δ$. Tuning $δ$ to the time horizon allows us to obtain sub-linear regret bounds, while requiring sub-linear storage. By exploiting joint learning for all contexts we get regret bounds for CCB($ε, δ$) that are unachievable by any existing contextual bandit algorithm for continuous context-spaces. We also show similar performance bounds for the unknown horizon case.

研究の動機と目的

• ネットワーキング応用において、既知の報酬関数を活用しないコンテキストバンドイットアルゴリズムのギャップを埋める。
• 文脈とアーム状態の既知の非線形関数としての報酬が与えられる確率的コンテキストバンドイット問題に対する効率的アルゴリズムを開発する。
• 時間に対して対数的、全アーム数ではなく非最適アーム数に線形的に依存するレグレットバウンドを達成する。
• 連続的文脈空間において、文脈間の共同学習を可能にし、探索を削減し、レグレット性能を向上させる。
• パラメータ δ を用いて連続的設定におけるレグレット-ストレージのトレードオフを確立し、時間ホライズンの知識がある場合にサブ線形レグレットとストレージを達成する。

提案手法

• 離散的かつ有限な文脈空間を対象とし、既知の報酬関数を用いて文脈間で報酬情報を伝搬する UCB に類似した DCB(ε) を提案する。
• 最適アームの非最適な選択回数を定数で抑えられる新しい証明技術を導入し、対数的レグレットスケーリングを可能にする。
• リプシッツ連続な報酬関数を有する連続的文脈空間を対象とし、DCB(ε) をサブルーチンとして用いる CCB(ε,δ) を設計する。
• パラメータ δ を用いてレグレット-ストレージのトレードオフをパrameter化し、δ が大きいほどレグレットは低減するがストレージは増加する。
• 時間ホライズンが未知の場合にサブ線形レグレットを保証するため、ダブリングトリックを適用する。
• δ に依存する区間を用いた連続的文脈の量子化を用い、離散的アルゴリズムの結果を連続ドメインへ拡張する。

実験結果

リサーチクエスチョン

• RQ1 既知の報酬関数を活用することで、標準的なマルチアームバンディット手法を上回るレグレット低減が、確率的コンテキストバンドイット問題で可能か？
• RQ2 報酬関数が既知である場合の最適なレグレットスケーリングは何か？ また、既存のアルゴリズムと比較してどうなるか？
• RQ3 連続的設定における文脈間の共同学習は、従来のコンテキストバンドイットアルゴリズムでは達成できないレグレットバウンドを実現できるか？
• RQ4 連続的コンテキストバンドイット問題において、レグレット-ストレージのトレードオフを形式的に定式化し、活用可能か？
• RQ5 時間ホライズンが未知である状況において、適応的アルゴリズム設計を用いてどのような性能保証が達成可能か？

主な発見

• DCB(ε) は、時間に対して対数的、非最適アーム数に線形的に依存する（全アーム数ではなく）レグレットを達成し、標準的手法に比べ顕著な改善を示す。
• リプシッツ連続な報酬関数を有する連続的文脈空間において、時間ホライズンが既知の場合は CCB(ε,δ) が O(√T) のレグレットを達成し、未知の場合は O(√T log T) のレグレットを達成する。
• CCB(ε,δ) のレグレットは δ が小さくなるほど低減し、ストレージを増加させることでレグレットを調整可能なトレードオフを示す。
• 数値結果では、CCB(ε,δ) が Multi-UCB や UCB1 を上回り、特に高次元または連続的設定において文脈間の共同学習のおかげで優れた性能を示す。
• CCB(ε,δ) の理論的レグレットバウンドは、連続的文脈空間において既存のコンテキストバンドイットアルゴリズムでは達成不可能である。
• UCB1 における最適選択回数の高確率バウンドを副産物として証明した。これはバンドイット理論において独立した応用が可能な可能性を示す。