[論文レビュー] Nonparametric Contextual Bandits in an Unknown Metric Space

Nirandika Wanigasekara, Christina Lee Yu|arXiv (Cornell University)|Aug 3, 2019

Advanced Bandit Algorithms Research参考文献 22被引用数 4

ひとこと要約

本稿では、未知の距離空間における腕同士の隠れた類似性を学習する非パrametricな文脈的バンディットアルゴリズムを提案する。この手法により、文脈-腕空間の適応的分割が可能となり、学習効率が向上する。レギュレートバウンドは報酬関数の局所的幾何構造に比例し、$O(\sqrt{KT})$ のレギュレートを達成する。これは、$\delta$-最適腕の測度が $\delta$ に対して線形に増加する場合に成立し、腕の距離構造や報酬構造に関する事前知識を必要としない。

ABSTRACT

Consider a nonparametric contextual multi-arm bandit problem where each arm $a \in [K]$ is associated to a nonparametric reward function $f_a: [0,1] o \mathbb{R}$ mapping from contexts to the expected reward. Suppose that there is a large set of arms, yet there is a simple but unknown structure amongst the arm reward functions, e.g. finite types or smooth with respect to an unknown metric space. We present a novel algorithm which learns data-driven similarities amongst the arms, in order to implement adaptive partitioning of the context-arm space for more efficient learning. We provide regret bounds along with simulations that highlight the algorithm's dependence on the local geometry of the reward functions.

研究の動機と目的

• 多数の腕とそれらの間の未知の構造的関係を有する非パrametricな文脈的バンディットにおける効率的学習の課題に対処すること。
• 事前定義された距離関数やカーネルに依存せず、データから腕の類似性を学習するアルゴリズムの開発。
• 報酬関数の局所的幾何構造を反映したレギュレートバウンドの提供、特に $\delta \to 0$ のときの $\delta$-最適腕の測度のスケーリングに注目。
• データ駆動による類似性学習が、独立した腕の学習や不適切な距離構造の仮定よりも長期的なパフォーマンスを向上させることの実証。

提案手法

• 観測された報酬から推定した腕同士の類似性に基づき、文脈-腕空間を動的に分割する Slivkin の Zooming アルゴリズムを拡張。
• 事前定義された距離関数に依存せず、報酬関数の差に由来するデータ駆動型距離関数 $\mathcal{D}_u^v(a,a')$ を使用。
• 十分なデータが蓄積された領域では、$n_t(\rho) \geq 4\ln(T)/\Delta^2$ を満たすとサブパーティションを開始するフラグリングルールを採用。
• 報酬関数が類似する腕をグループ化するクラスタリング手順を導入し、類似する腕間で学習を共有。
• 最適方策に近い領域に解像度を高める適応的パーティション分割を採用し、重要となる領域での推定精度を向上。
• 類似性推定に $k=26$ を使用。$k$ の選択に感度があるため、サンプリング効率に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 非パrametricな文脈的バンディット設定において、下位の距離空間に関する事前知識なしに、有用な腕の類似性を学習できるか？
• RQ2 腕の数が多く、報酬関数が未知の距離空間に関して滑らかである場合、文脈的バンディットアルゴリズムのレギュレートはどのようにスケーリングするか？
• RQ3 データ駆動による類似性学習は、固定距離空間を仮定する手法や独立した腕の学習よりも優れているか？
• RQ4 アルゴリズムのパフォーマンスは、特に $\delta$-最適腕の測度のスケーリングに依存する報酬関数の局所的幾何構造にどのように依存するか？

主な発見

• $\delta$-最適腕の測度が $\delta$ に対して線形に増加する場合、提案アルゴリズムは $O(\sqrt{KT})$ のレギュレートを達成し、局所的報酬幾何構造への効率的適応を示す。
• シミュレーションでは、類似性推定の初期コストが高いため一時的に性能が低いが、長期的では独立した腕学習や距離ベースのベースラインを著しく上回る。
• 腕空間の測度保存変換に対しても、本アルゴリズムは頑健に動作するが、距離依存のアルゴリズムは不適切な距離選択により性能が低下する。
• 頻度プロットから、アルゴリズムが時間経過とともにポリシーを学習・鋭くし、腕選択の形状が最適なジグザグポリシーに徐々に一致することが示された。
• 真の距離を使用するオラクルバージョンが最も優れた性能を示したが、データ駆動型類似性を用いたアルゴリズムもそれに非常に近い性能を達成し、自己学習距離の有効性を示した。
• 固定距離表現（例：$|\theta_a - \theta_{a'}|$）を用いる場合、真の距離よりも収束が遅く、事前距離の適切な選択の難しさを示している。