[論文レビュー] Exploiting the Natural Exploration In Contextual Bandits.

Hamsa Bastani, Mohsen Bayati+1 more|arXiv (Cornell University)|Apr 28, 2017

Advanced Bandit Algorithms Research被引用数 10

ひとこと要約

この論文は、文脈の変動に起因する自然な探索を活用することで、明示的な探索を必要とせず、漸近的最適性を達成する新しい文脈的バンディットアルゴリズム、Greedy-Firstを提案する。一般な文脈分布のもとで、2腕設定においてグリーディ方針がレート最適性を達成することを証明し、シミュレーションにおいてトムソンサンプリング、UCB、ε-グリーディーより優れた性能を示した。

ABSTRACT

The contextual bandit literature has traditionally focused on algorithms that address the exploration-exploitation trade-off. In particular, greedy policies that exploit current estimates without any exploration may be sub-optimal in general. However, exploration-free greedy policies are desirable in many practical settings where exploration may be prohibitively costly or unethical (e.g. clinical trials). We prove that, for a general class of context distributions, the greedy policy benefits from a natural exploration obtained from the varying contexts and becomes asymptotically rate-optimal for the two-armed contextual bandit. Through simulations, we also demonstrate that these results generalize to more than two arms if the dimension of contexts is large enough. Motivated by these results, we introduce Greedy-First, a new algorithm that uses only observed contexts and rewards to determine whether to follow a greedy policy or to explore. We prove that this algorithm is asymptotically optimal without any additional assumptions on the distribution of contexts or the number of arms. Extensive simulations demonstrate that Greedy-First successfully reduces experimentation and outperforms existing (exploration-based) contextual bandit algorithms such as Thompson sampling, UCB, or $\epsilon$-greedy.

研究の動機と目的

• 臨床試験のような現実世界の応用において、明示的探索が不可能な探索コストや倫理的制約に対処すること。
• 文脈の変動によって誘発される自然な探索を通じて、グリーディ方針が漸近的最適性を達成できるかどうかを調査すること。
• 観測された文脈と報酬のみを用いて、グリーディ行動選択と探索の間で動的に意思決定する実用的なアルゴリズムを設計すること。
• 文脈分布や腕の数に関する仮定なしに、提案されたアルゴリズムの漸近的最適性を証明すること。

提案手法

• アルゴリズムは、観測された文脈と報酬を用いて、現在の方針の劣化の統計的証拠に基づき、グリーディ方針に従うか、探索を行うかを決定する。
• 文脈の自然な変動を活用して、ε-グリーディーやトムソンサンプリングのような明示的探索機構を必要とせずに、間接的に探索を誘発する。
• 理論的分析により、一般な文脈分布のもとで、2腕の文脈的バンディットにおいてグリーディ方針が漸近的にレート最適性を達成することを証明した。
• 観測データにのみ依存し、文脈分布や腕の数に関する仮定なしに、Greedy-Firstが漸近的に最適であることを証明した。
• 現在の方針の性能に対する信頼度に基づいて、意思決定の過程で搾取と探索を動的に切り替える。
• 実験を最小限に抑えつつ、最適なレグレットレートを維持するようにアルゴリズムを設計した。

実験結果

リサーチクエスチョン

• RQ1 文脈の変動によって生じる自然な探索がある場合、グリーディ方針は文脈的バンディットにおいて漸近的最適性を達成できるか？
• RQ2 提案されたGreedy-Firstアルゴリズムは、実際の応用においてトムソンサンプリング、UCB、ε-グリーディーといった既存の探索ベースのアルゴリズムを上回るか？
• RQ3 どのような条件下で、文脈の自然な変動が漸近的最適性を達成するのに十分な探索を誘発するか？
• RQ4 文脈分布や腕の数に関する仮定なしに、Greedy-Firstは漸近的最適性を維持できるか？
• RQ5 観測データのみを用いて、アルゴリズムはどのように搾取と探索のバランスをとるか？

主な発見

• 文脈の変動に起因する自然な探索のおかげで、グリーディ方針は一般な文脈分布のもとで、2腕の文脈的バンディットにおいて漸近的レート最適性を達成する。
• シミュレーションにより、文脈次元が十分に大きい場合には、2本以上の腕に対しても一般化できることを示した。
• トムソンサンプリング、UCB、ε-グリーディーといった探索ベースのアルゴリズムと比較して、Greedy-Firstは実験を著しく削減した。
• 文脈分布や腕の数に関する追加仮定なしに、Greedy-Firstは漸近的最適性を達成した。
• 広範なシミュレーションにより、累積レグレットとサンプル効率の面で、Greedy-Firstが既存の文脈的バンディットアルゴリズムを上回ることを確認した。
• 観測データを活用して、搾取と探索の動的決定を実現することで、強い実証的性能を示した。