[论文解读] Episodic Multi-armed Bandits

Cem Tekin, Mihaela van der Schaar|arXiv (Cornell University)|Aug 4, 2015

Advanced Bandit Algorithms Research参考文献 15被引用 3

一句话总结

本文提出了时间片段多臂老虎机（eMAB），一种新型在线学习框架，其中智能体在各时间片段中选择动作序列，每步执行后接收反馈，并可通过‘停止’动作终止当前片段，从而揭示最终奖励与步骤级成本。所提出的FeedBAL算法在高概率下实现对数 regret，其增长为 O(log n)，其中 n 为时间片段数量，且对步骤数、动作数和状态数具有多项式依赖关系。

ABSTRACT

We introduce a new class of reinforcement learning methods referred to as {\em episodic multi-armed bandits} (eMAB). In eMAB the learner proceeds in {\em episodes}, each composed of several {\em steps}, in which it chooses an action and observes a feedback signal. Moreover, in each step, it can take a special action, called the $stop$ action, that ends the current episode. After the $stop$ action is taken, the learner collects a terminal reward, and observes the costs and terminal rewards associated with each step of the episode. The goal of the learner is to maximize its cumulative gain (i.e., the terminal reward minus costs) over all episodes by learning to choose the best sequence of actions based on the feedback. First, we define an {\em oracle} benchmark, which sequentially selects the actions that maximize the expected immediate gain. Then, we propose our online learning algorithm, named {\em FeedBack Adaptive Learning} (FeedBAL), and prove that its regret with respect to the benchmark is bounded with high probability and increases logarithmically in expectation. Moreover, the regret only has polynomial dependence on the number of steps, actions and states. eMAB can be used to model applications that involve humans in the loop, ranging from personalized medical screening to personalized web-based education, where sequences of actions are taken in each episode, and optimal behavior requires adapting the chosen actions based on the feedback.

研究动机与目标

• 解决反馈仅在时间片段结束时才可获得、且动作顺序影响结果的序列决策问题。
• 建模个性化教育与医疗等现实应用，其中治疗或教学序列仅在完成之后才被评估。
• 设计一种在线学习算法，能够在时间片段内根据反馈自适应调整动作选择，以最小化相对于基于当前反馈进行短视选择的基准的 regret。
• 建立理论 regret 边界，其随时间片段数量对数增长，随步骤数、动作数与状态数呈多项式增长。

提出的方法

• 将 eMAB 形式化为一种框架，其中学习以时间片段为单位进行，每个时间片段包含一系列动作、中间反馈，以及触发最终奖励与成本揭示的‘停止’动作。
• 定义一个基准，该基准在每一步选择当前反馈下能最大化即时期望收益的动作，作为性能目标。
• 提出反馈自适应学习（FeedBAL），一种在线算法，利用反馈在每个时间片段内自适应选择动作，以最小化相对于基准的 regret。
• 使用高概率置信区间估计期望收益，以指导动作选择并确保对不确定性的鲁棒性。
• 利用集中不等式推导 regret 边界，表明期望 regret 随时间片段数量对数增长，且随系统规模呈多项式增长。
• 证明 eMAB 广义化了现有模型，如在线自适应子模最大化，并在标准 MAB 与完整 MDP 基础强化学习之间建立桥梁。

实验结果

研究问题

• RQ1 能否设计一种在线学习算法，以在延迟反馈的时段设置中有效学习最优动作序列？
• RQ2 在奖励仅在时间片段结束时才被揭示、且中间反馈用于指导决策的框架中，如何对 regret 进行边界约束？
• RQ3 与一个基于实时反馈自适应调整动作选择的短视基准竞争的算法，其理论性能极限是什么？
• RQ4 regret 如何随时间片段数量、每片段步数以及系统中动作数或状态数变化？
• RQ5 eMAB 在哪些方面广义化或区别于标准多臂老虎机、MDP 中的强化学习以及在线凸优化？

主要发现

• FeedBAL 算法实现的 regret 随时间片段数量对数增长，具体为 O(log n)，且具有高概率性。
• regret 边界对步骤数、动作数与状态数具有多项式依赖，使其可扩展至中等规模系统。
• 理论分析证明，FeedBAL 的期望 regret 在高概率下有界，确保了可靠的性能保证。
• eMAB 广义化了如在线自适应子模最大化等现有模型，并在标准 MAB 与完整 MDP 基础强化学习之间提供中间路径。
• 该框架非常适合涉及人机协同决策的应用，如个性化教育与医疗，其中动作序列仅在完成之后才被评估。
• 该模型与 OCO 和 SCO 的区别在于：其 regret 衡量基准是基于反馈每轮自适应变化的，而非固定动作。