[论文解读] EE-Net: Exploitation-Exploration Neural Networks in Contextual Bandits

Yikun Ban, Yuchen Yan+2 more|arXiv (Cornell University)|Oct 7, 2021

Advanced Bandit Algorithms Research参考文献 35被引用 10

一句话总结

本文提出EE-Net，一种新颖的神经上下文Bandit算法，通过使用两个神经网络将利用与探索解耦：一个用于奖励估计（利用），另一个用于学习残差奖励增益（探索）。通过基于奖励估计偏差自适应预测是否应向上或向下探索，EE-Net实现了$\mathcal{O}(\sqrt{T\log T})$的遗憾界，优于现有神经Bandit方法，减少了近似误差并实现了方向感知的探索。

ABSTRACT

In this paper, we propose a novel neural exploration strategy in contextual bandits, EE-Net, distinct from the standard UCB-based and TS-based approaches. Contextual multi-armed bandits have been studied for decades with various applications. To solve the exploitation-exploration tradeoff in bandits, there are three main techniques: epsilon-greedy, Thompson Sampling (TS), and Upper Confidence Bound (UCB). In recent literature, linear contextual bandits have adopted ridge regression to estimate the reward function and combine it with TS or UCB strategies for exploration. However, this line of works explicitly assumes the reward is based on a linear function of arm vectors, which may not be true in real-world datasets. To overcome this challenge, a series of neural bandit algorithms have been proposed, where a neural network is used to learn the underlying reward function and TS or UCB are adapted for exploration. Instead of calculating a large-deviation based statistical bound for exploration like previous methods, we propose "EE-Net", a novel neural-based exploration strategy. In addition to using a neural network (Exploitation network) to learn the reward function, EE-Net uses another neural network (Exploration network) to adaptively learn potential gains compared to the currently estimated reward for exploration. Then, a decision-maker is constructed to combine the outputs from the Exploitation and Exploration networks. We prove that EE-Net can achieve $\mathcal{O}(\sqrt{T\log T})$ regret and show that EE-Net outperforms existing linear and neural contextual bandit baselines on real-world datasets.

研究动机与目标

• 解决上下文Bandit中线性奖励假设的局限性，这些假设在具有复杂非线性奖励结构的真实应用中往往失效。
• 克服基于UCB和TS的神经Bandit方法中固有的近似误差，这些方法依赖于统计上界进行探索。
• 开发一种基于神经网络的探索策略，可自适应地根据奖励估计偏差判断应向上还是向下探索。
• 通过仅将误差分量减少到神经网络泛化误差，实现比最先进神经Bandit算法更紧的遗憾界。
• 在真实世界数据集上展示优于线性和神经Bandit基线方法的实证性能。

提出的方法

• 训练一个利用网络$f_1$，使用岭回归和历史上下文-奖励对的神经网络拟合来估计奖励函数。
• 引入一个独立的探索网络$f_2$，用于学习残差$h(x) - f_1(x)$，即真实奖励减去估计奖励，以指导探索决策。
• 利用$f_2$的输出确定探索方向：正值触发向上探索（当出现低估时），负值触发向下探索（当出现高估时）。
• 构建一个决策器$f_3$，通过线性或非线性神经网络将$f_1$和$f_2$组合，基于估计值加上自适应探索增益选择臂。
• 证明在标准过参数化神经网络假设下，EE-Net实现了$\mathcal{O}(\sqrt{T\log T})$的遗憾界，相比先前方法提升了$\sqrt{\log T}$因子。
• 使用真实奖励与$f_1$预测之间的残差差异作为监督信号，制定探索网络的训练目标，从而实现探索潜力的端到端学习。

实验结果

研究问题

• RQ1 与基于UCB和TS的神经Bandit方法相比，双网络神经架构是否能提升上下文Bandit中的探索准确性和遗憾界？
• RQ2 通过专用神经网络学习残差奖励差异$h(x) - f_1(x)$，是否能实现比固定或随机探索策略更优的探索方向选择（向上/向下）？
• RQ3 在非线性奖励设置中，将探索与统计置信区间解耦在多大程度上能减少近似误差并提升遗憾性能？
• RQ4 EE-Net的遗憾界与现有神经Bandit算法相比如何，特别是在输入维度或有效维度依赖性方面？
• RQ5 EE-Net是否能在多样化的现实世界数据集中泛化，并在累积奖励性能上优于线性和神经Bandit基线？

主要发现

• EE-Net实现了$\mathcal{O}(\sqrt{T\log T})$的遗憾界，相比依赖统计上界的现有神经Bandit算法，提升了$\sqrt{\log T}$因子。
• 探索网络$f_2$通过学习奖励估计偏差的符号和大小，实现了自适应探索，使在需要时可同时进行向上和向下探索。
• EE-Net将近似误差减少至仅神经网络泛化误差，而先前方法则累积了来自岭回归、NTK近似和核距离分量的误差。
• 在四个真实世界数据集上，EE-Net在累积奖励方面优于线性和神经Bandit基线，展现出更优的实证性能。
• 该方法检测高估与低估的能力使探索比UCB（始终向上）或TS（随机方向）更精确，如消融研究和可视化结果所示。
• 理论分析确认，EE-Net的遗憾界与输入维度和有效维度无关，使其在高维设置中具有鲁棒性。