[論文レビュー] Neural Contextual Bandits with UCB-based Exploration

Dongruo Zhou, Lihong Li+1 more|arXiv (Cornell University)|Nov 11, 2019

Advanced Bandit Algorithms Research被引用数 59

ひとこと要約

NeuralUCB は深層ニューラルネットワークとニューラルタンジェントカーネルに触発されたランダム特徴を用いて UCB を構築し、強い報酬仮定がなくても確率的文脈バンディットにおいてほぼ最適な後悔を達成します。

ABSTRACT

We study the stochastic contextual bandit problem, where the reward is generated from an unknown function with additive noise. No assumption is made about the reward function other than boundedness. We propose a new algorithm, NeuralUCB, which leverages the representation power of deep neural networks and uses a neural network-based random feature mapping to construct an upper confidence bound (UCB) of reward for efficient exploration. We prove that, under standard assumptions, NeuralUCB achieves $ ilde O(\sqrt{T})$ regret, where $T$ is the number of rounds. To the best of our knowledge, it is the first neural network-based contextual bandit algorithm with a near-optimal regret guarantee. We also show the algorithm is empirically competitive against representative baselines in a number of benchmarks.

研究の動機と目的

• 文脈バンディットにおける非線形かつモデルフリーの報酬学習の必要性を、線形仮定を超えて動機づける。
• 深いネットを活用し、ニューラルタンジェントのランダム特徴を用いて探索のための UCB を構築する NeuralUCB を導入する。
• 有効なニューラルタンジェントカーネル次元 d~ に基づくほぼ最適な性能を示す後悔保証を提供する。
• 合成データセットと実データセットの代表的なベースラインに対して NeuralUCB が実証的に競争力を持つことを示す。

提案手法

• 出力が有界で未知の報酬関数を学習するために全結合ニューラルネットワークを用いる。
• 各アクションについて、f(x_{t,a}; θ_{t-1}) と勾配 g(x_{t,a}; θ_{t-1}) および行列 Z_{t-1} を含む項を用いて上限信頼境界 U_{t,a} を構築する。
• 観測データ上で正則化された最小二乗目的関数を概算で最小化してネットワークパラメータ θ_t を更新する（TrainNN）。
• ニューラルタンジェントカーネル (NTK) に基づく有効次元 〜 d~ を定義・活用して、後悔の境界が 〜 d~ に比例してスケールするよう導く。
• 標準的な前提の下で後悔境界が 〜~O( 〜 d~ sqrt(T)) となることを示し、線形バンディットの保証を特殊ケースとして回復する。
• 実用的な性能を検証するため、合成データセットと実データセットに対するベースラインとの経験的比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 強化学習の文脈バンディットにおいて、UCB ベースの探索を用いたニューラルネットワークベースの手法は、強い報酬モデル仮定がなくてもほぼ最適な後悔を達成できるか。
• RQ2 ニューラルタンジェントカーネルの有効次元は後悔をどのように支配し、線形およびカーネルベースのアプローチとどのように比較されるか。
• RQ3 NeuralUCB は合成データセットと実世界の文脈バンディットのベースラインに対して競争力を示すか。
• RQ4 ニューラル学習の最適化誤差は全体の後悔境界にどのような影響を与え、どのように制御できるか。

主な発見

• NeuralUCB は 〜 d~ が有効な NTK 次元である場合、後悔境界を 〜~O( 〜 d~ sqrt(T)) に抑えることができ、非線形報酬に対してほぼ最適な速度をマッチさせる。
• 報酬が文脈に対して線形である場合、後悔境界は 〜~O(d sqrt(T)) の線形文脈バンディットの速度を回復する。
• 実証的な結果は、NeuralUCB が合成ベンチマークと実世界データセットで代表的なベースラインと競合することを示す。
• 付録のバリアント NeuralUCB_0 はカーネル/UCB と一致する後悔を示すが、NeuralUCB は豊かな表現によって実践的にはより良い性能を示す傾向がある。
• 解析はニューラルネットワークの最適化と一般化の結果に依存しており、NTK に基づく Gram 行列と勾配ベースの特徴写像を含む。