[論文レビュー] Finite-Time Analysis of Kernelised Contextual Bandits

Michal Vaľko, Nathan Korda+3 more|arXiv (Cornell University)|Sep 26, 2013

Advanced Bandit Algorithms Research参考文献 28被引用数 91

ひとこと要約

本稿では、再現性のある核ヒルバート空間（RKHS）を用いて行動の文脈同士の類似性を活用する、文脈的バンディット問題におけるカーネル化された上側信頼区間（KernelUCB）アルゴリズムを提案する。この研究では、アグノスティックな状況においてGP-UCBを上回る有限時間レギュレートバウンドを確立し、線形カーネルの場合には下界に一致させ、大規模な行動空間における効率的探索を理論的に裏付けた手法を提供する。

ABSTRACT

We tackle the problem of online reward maximisation over a large finite set of actions described by their contexts. We focus on the case when the number of actions is too big to sample all of them even once. However we assume that we have access to the similarities between actions' contexts and that the expected reward is an arbitrary linear function of the contexts' images in the related reproducing kernel Hilbert space (RKHS). We propose KernelUCB, a kernelised UCB algorithm, and give a cumulative regret bound through a frequentist analysis. For contextual bandits, the related algorithm GP-UCB turns out to be a special case of our algorithm, and our finite-time analysis improves the regret bound of GP-UCB for the agnostic case, both in the terms of the kernel-dependent quantity and the RKHS norm of the reward function. Moreover, for the linear kernel, our regret bound matches the lower bound for contextual linear bandits.

研究の動機と目的

• すべての行動をサンプリングすることが不可能な大規模な行動空間におけるオンライン報酬最大化を扱う。
• 文脈の類似性を用いて、報酬関数を再現性のあるヒルバート空間（RKHS）内の任意の線形関数としてモデル化する。
• この設定において、探索と活用のバランスを効率的にとるカーネル化されたUCBアルゴリズムを開発する。
• 既存手法（例：GP-UCB）よりも優れた、アグノスティックな状況における有限時間レギュレートバウンドを提供する。
• 特に、線形カーネルの場合に既知の下界に一致する、きつい理論的保証を確立する。

提案手法

• 文脈の類似性に基づいて期待報酬をモデル化するためのRKHSノルムを用いた、カーネル化されたUCBアルゴリズム「KernelUCB」を提案する。
• 頻度主義的解析を用いて、アルゴリズムの累積的レギュレートバウンドを導出する。
• 報酬関数が再現性のあるヒルバート空間（RKHS）に属するとモデル化することで、非パラメトリックな関数近似を可能にする。
• カーネル関数を用いて行動の文脈間の類似性を符号化し、行動間での一般化を可能にする。
• RKHSノルムと経験的分散推定値に基づく上側信頼区間を導出し、探索を誘導する。
• 特定のカーネルを用いた場合にGP-UCBがKernelUCBの特別なケースとなることを示し、レギュレートバウンドの直接比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 文脈の類似性のみを用いて、大規模な行動空間を効率的に処理できる文脈的バンディットアルゴリズムを設計できるか？
• RQ2 カーネルに依存する量および報酬関数のRKHSノルムに関して、カーネル化されたUCBアルゴリズムのレギュレートはどのようにスケーリングするか？
• RQ3 線形カーネルを用いた場合に、KernelUCBは文脈的線形バンディットの既知の下界に一致するレギュレートバウンドを達成するか？
• RQ4 アグノスティック設定において、KernelUCBの有限時間解析はGP-UCBアルゴリズムにどのように改善をもたらすか？
• RQ5 全行動集合のサンプリングを必要とせずに、提案手法は行動間で効果的に一般化できるか？

主な発見

• 提案されたKernelUCBアルゴリズムは、アグノスティックな状況において、カーネルに依存する量および報酬関数のRKHSノルムの両面で、GP-UCBを上回る累積的レギュレートバウンドを達成する。
• 線形カーネルの場合、KernelUCBのレギュレートバウンドは文脈的線形バンディットの既知の下界に一致し、この設定において理論的に最適であることを示唆する。
• 有限時間解析により、高次元的または複雑な文脈構造を有する状況においても、従来の手法よりもタイトなレギュレートバウンドが得られる。
• KernelUCBはGP-UCBを特別なケースとして含み、両者のフレームワークを共通の理論的枠組みで統合する。
• カーネル関数による文脈の類似性の活用により、全行動のサンプリングを避けながら、大規模な行動空間における効率的学習を可能にする。
• 理論的結果により、報酬関数が事前に未知であっても、探索と活用のバランスが効果的にとられていることが示された。