[论文解读] Hyper-parameter Tuning for the Contextual Bandit

Djallel Bouneffouf, Emmanuelle Claeys|arXiv (Cornell University)|May 4, 2020

Advanced Bandit Algorithms Research参考文献 25被引用 5

一句话总结

该论文提出了 OPLINUCB 和 DOPLINUCB 两种算法，通过元 bandit 方法动态学习上下文 bandit 中的最优探索参数（$α$）。通过将探索调节视为一个上下文 bandit 问题，这些方法根据上下文和即时奖励自适应地调整 $α$，在非平稳环境中显著优于静态 $α$ 选择，展示了在多臂 bandit 中实现自动化超参数调优的第一步。

ABSTRACT

We study here the problem of learning the exploration exploitation trade-off in the contextual bandit problem with linear reward function setting. In the traditional algorithms that solve the contextual bandit problem, the exploration is a parameter that is tuned by the user. However, our proposed algorithm learn to choose the right exploration parameters in an online manner based on the observed context, and the immediate reward received for the chosen action. We have presented here two algorithms that uses a bandit to find the optimal exploration of the contextual bandit algorithm, which we hope is the first step toward the automation of the multi-armed bandit algorithm.

研究动机与目标

• 解决在 LINUCB 中手动调节探索参数 $α$ 的挑战，该参数至关重要但难以事先确定。
• 开发自适应算法，基于上下文和奖励反馈实时学习最优 $α$。
• 通过将探索-利用权衡建模为分层 bandit 问题，扩展传统上下文 bandit 学习以实现自动化。
• 在平稳和非平稳环境中评估所提算法，以评估其鲁棒性和适应性。
• 证明动态探索调节可实现比静态或最佳固定 $α$ 基线更优的累积遗憾。

提出的方法

• OPLINUCB 使用上下文 bandit（CTree）从离散集合 $[0.01, 1]$ 中以 0.01 为步长选择 $α$，基于当前上下文。
• DOPLINUCB 引入两级 bandit 结构：第一层通过 CTree 选择 $α$，第二层使用选定 $α$ 的 LINUCB 选择动作。
• CTree 算法建模上下文与最优 $α$ 之间的关系，学习探索调节策略。
• LINUCB 作为基础算法，采用上置信度（UCB）探索，其中 $α$ 控制探索奖励：$p_{t,a} = \hat{\mu}_a^T x_t + \alpha \sqrt{x_t^T A_a^{-1} x_t}$。
• 在线岭回归在每次动作后使用 $x_{t,a}$ 和观测到的奖励 $r_t$ 更新权重估计 $\hat{\mu}_a$ 和协方差矩阵 $A_a$。
• 在真实世界数据集（如 Adult）上训练和评估算法，奖励为二值，以累积遗憾为主要指标。

实验结果

研究问题

• RQ1 元 bandit 方法是否能在无需手动调优的情况下学习上下文 bandit 中的最优探索参数 ($\u03b1$)？
• RQ2 在平稳环境中，基于上下文的动态 $α$ 选择相比固定 $α$ 是否能提升性能？
• RQ3 所提方法是否能适应奖励函数随时间变化的非平稳环境？
• RQ4 学习上下文-$\u03b1$ 依赖关系是否能带来比选择最佳固定 $α$ 更优的累积遗憾？
• RQ5 是否可以通过在线、上下文感知的超参数调优，在 LINUCB 中实现探索-利用权衡的自动化？

主要发现

• 在平稳环境中，OPLINUCB 始终优于所有固定 $α$ 值的中位数和均值，但未超越最佳单个 $α$。
• 在奖励在 100、1000 和 10,000 次迭代后发生改变的非平稳环境中，DOPLINUCB 的累积遗憾低于最佳固定 $α$，在 1,000 次切换时平均遗憾为 13,569，而最佳固定 $α$ 的最小值为 15,331。
• 在 1,000 次切换的情景下，DOPLINUCB 相较于最佳固定 $α$ 将平均累积遗憾降低了约 12%。
• OPLINUCB 在所有训练集大小（0 到 10,000）下表现稳健，平均遗憾始终低于固定 $α$ 值的中位数和均值。
• 结果证实，在非平稳环境中，学习上下文相关的探索策略是有益的，而静态 $α$ 选择无法适应变化。
• 所提算法表明，在上下文 bandit 中自动化超参数调优是可行且有效的，尤其在奖励动态随时间变化时。