[論文レビュー] Nonparametric Stochastic Contextual Bandits

Melody Y. Guan, Heinrich Jiang|arXiv (Cornell University)|Jan 5, 2018

Advanced Bandit Algorithms Research参考文献 19被引用数 5

ひとこと要約

本稿では、理論的保証を伴うk-NN回帰を用いた非パrametric確率的文脈的バンディットアルゴリズムを提案し、文脈次元$D$に対して$acksim O(T^{(1+D)/(2+D)})$のサブ線形レグレットを達成する。この手法はデータの内在次元$d$に適応可能であり、低次元多様体上での収束を高速化し、最小限の仮定のもとで最良腕領域のトポロジカル構造を一貫して回復する。

ABSTRACT

We analyze the $K$-armed bandit problem where the reward for each arm is a noisy realization based on an observed context under mild nonparametric assumptions. We attain tight results for top-arm identification and a sublinear regret of $\widetilde{O}\Big(T^{\frac{1+D}{2+D}}\Big)$, where $D$ is the context dimension, for a modified UCB algorithm that is simple to implement ($k$NN-UCB). We then give global intrinsic dimension dependent and ambient dimension independent regret bounds. We also discuss recovering topological structures within the context space based on expected bandit performance and provide an extension to infinite-armed contextual bandits. Finally, we experimentally show the improvement of our algorithm over existing multi-armed bandit approaches for both simulated tasks and MNIST image classification.

研究の動機と目的

• 任意の非線形報酬関数を有する文脈的バンディットにおける最適な文脈-腕マッピングの学習という課題に取り組む。
• データ多様体の内在次元に適応することで、非パラメトリックバンディット学習における次元の呪いを克服する。
• 報酬関数に強いパラメトリック仮定を置かずに、最良腕同定とレグレット最小化の理論的保証を提供する。
• 一様一貫性を用いて、ある腕が最適となる領域の文脈空間におけるトポロジカル構造（例えば、連結成分）を回復する。
• 無限腕文脈的バンディットにフレームワークを拡張し、実世界の画像分類タスクでの性能を検証する。

提案手法

• 各腕の平均報酬関数をk-NN回帰で推定し、文脈空間内の局所的近傍情報を利用する。
• k-NN回帰の誤差率から導かれる信頼区間を用いて、探索と活用のバランスを取る修正版UCBアルゴリズム（k-NN-UCB）を設計する。
• 非パラメトリック統計の理論的結果を応用し、k-NN推定値の一様偏差を抑え、弱い仮定のもとで強い一貫性を保証する。
• 有効次元は埋め込み次元$D$ではなく内在次元$d$であることに着目し、データが低次元多様体上に存在する場合に収束を高速化する。
• k-NN推定値の一様一貫性を活用して、文脈空間内で特定の腕が最適となる領域を同定し、トポロジカル構造の回復を可能にする。
• 腕空間を文脈上の連続関数としてモデル化することで、無限腕バンディットにフレームワークを拡張し、k-NNを用いて最適行動を動的かつ推定する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック手法は、報酬関数に線形性の仮定を置かずに、文脈的バンディットでタイトなレグレットバウンドを達成できるか？
• RQ2 アルゴリズムの性能は、文脈空間の埋め込み次元と内在次元のどちらに依存するか？
• RQ3 アルゴリズムは、特定の腕が最適となる連結成分を含む文脈空間のトポロジカル構造を回復できるか？
• RQ4 k-NNベースのUCBは、複雑な非線形意思決定境界を持つ設定で、線形ベースライン（例：LinUCB）を上回る性能を示せるか？
• RQ5 本手法は、連続的行動空間を有する無限腕文脈的バンディット問題に拡張可能か？

主な発見

• k-NN-UCBアルゴリズムは、弱いリプシッツ性およびサブガウスノイズ仮定のもとで、文脈の埋め込み次元$D$に対して$acksim O(T^{(1+D)/(2+D)})$のサブ線形レグレットバウンドを達成する。
• データが内在次元$d < D$の低次元多様体上に存在する場合、レグレットは$acksim O(T^{(1+d)/(2+d)})$に改善され、有効次元に自動的に適応することが示された。
• k-NN回帰はリッジ回帰を著しく上回り、 Quintic Function ケースではテスト誤差を0.065から0.002に削減し、SmileyおよびBullseyeケースではほぼゼロの誤差を達成した。
• MNIST画像分類タスクでは、k-NN-UCBがテストレグレット5.8%を達成したのに対し、LinUCBは17.5%であった。これは、複雑な非線形意思決定境界を有する実世界データにおいて優れた性能を示している。
• 任意の形状や相対的位置を有する文脈空間においても、ある腕が最適となる連結成分を一貫性のある保証のもとで回復できた。
• 本手法はデータの事前処理を一切不要とし、文脈空間の内在的な幾何構造に自動的に適応するため、内在次元が低く、高次元の実世界データに適した手法である。