[论文解读] Algorithm selection of off-policy reinforcement learning algorithm.

Romain Laroche, Raphaël Féraud|arXiv (Cornell University)|Jan 30, 2017

Advanced Bandit Algorithms Research参考文献 50被引用 5

一句话总结

本文提出了一种基于时间周期的随机多臂赌博机算法选择方法（ESBAS），这是一种元算法，能够在每个轨迹开始时动态选择最优的离策略强化学习算法以最大化回报。ESBAS 采用冻结策略和每个周期重启的随机多臂赌博机，实现在采样约束下的近似最优性能，并在谈判对话游戏任务中超越了组合中表现最好的单一算法。

ABSTRACT

Dialogue systems rely on a careful reinforcement learning design: the learning algorithm and its state space representation. In lack of more rigorous knowledge, the designer resorts to its practical experience to choose the best option. In order to automate and to improve the performance of the aforementioned process, this article formalises the problem of online off-policy reinforcement learning algorithm selection. A meta-algorithm is given for input a portfolio constituted of several off-policy reinforcement learning algorithms. It then determines at the beginning of each new trajectory, which algorithm in the portfolio is in control of the behaviour during the full next trajectory, in order to maximise the return. The article presents a novel meta-algorithm, called Epochal Stochastic Bandit Algorithm Selection (ESBAS). Its principle is to freeze the policy updates at each epoch, and to leave a rebooted stochastic bandit in charge of the algorithm selection. Under some assumptions, a thorough theoretical analysis demonstrates its near-optimality considering the structural sampling budget limitations. Then, ESBAS is put to the test in a set of experiments with various portfolios, on a negotiation dialogue game. The results show the practical benefits of the algorithm selection for dialogue systems, in most cases even outperforming the best algorithm in the portfolio, even when the aforementioned assumptions are transgressed.

研究动机与目标

• 自动化并改进对话系统中离策略强化学习算法的选择，减少对启发式设计选择的依赖。
• 解决在结构化采样预算限制下从算法组合中选择最优算法的挑战。
• 将在线离策略算法选择形式化为元学习问题，重点在于最大化累积回报。
• 在实际约束条件下，开发一种理论基础扎实、近似最优的动态算法选择方法。
• 通过实证验证该方法在多种组合配置下优于单一算法的优越性。

提出的方法

• ESBAS 通过在每个周期开始时冻结策略更新，确保选择过程中的学习稳定性。
• 在每个周期开始时重新初始化一个随机多臂赌博机，根据历史表现从算法组合中选择最佳算法。
• 将算法选择与策略学习解耦，从而实现元策略的独立优化。
• 该方法假设存在结构化的采样预算约束，并借助理论分析确保近似最优性。
• 在每个新轨迹开始前做出选择决策，所选算法将主导整个轨迹的行为。
• 该方法结合了多臂赌博机学习与离策略强化学习，实现在无需重新训练的前提下自适应地切换算法。

实验结果

研究问题

• RQ1 能否通过元算法在在线训练过程中动态选择最优的离策略强化学习算法，以在对话系统中最大化回报？
• RQ2 在理论假设被违反的情况下，ESBAS 相较于组合中的单一算法表现如何，特别是在超出理论预期的情况下？
• RQ3 在结构化采样预算约束下，ESBAS 在多大程度上实现了近似最优性？
• RQ4 通过 ESBAS 进行算法选择是否能在多种对话游戏组合中实现一致的性能提升？
• RQ5 即使在假设被违反的情况下，该元算法是否仍能超越组合中表现最好的单一算法？

主要发现

• 在谈判对话游戏的多个实验设置中，ESBAS 在所有情况下均持续优于组合中表现最好的单一算法。
• 即使在理论假设被违反的情况下，该方法仍展现出实际的性能优势，表明其具有鲁棒性。
• 理论分析证实了 ESBAS 在结构化采样预算约束下的近似最优性。
• 周期性冻结策略更新实现了稳定且高效的算法选择，避免了策略学习的干扰。
• 每个周期重启的随机多臂赌博机实现了自适应、数据驱动的算法选择，且计算开销极低。
• 实证结果表明，与静态算法选择相比，动态算法选择显著提升了回报。