[论文解读] Difference of Convex Functions Programming Applied to Control with Expert Data

Bilal Piot, Matthieu Geist+1 more|arXiv (Cornell University)|Jun 3, 2016

Reinforcement Learning in Robotics参考文献 8被引用 6

一句话总结

本文将差分凸（DC）规划应用于改进两种强化学习与模仿学习算法——RCAL 和 RLED，利用最优贝尔曼残差（OBR）范数为 DC 函数的特性。通过使用 DC 算法（DCA）进行优化，该方法在 RCAL 中实现了显著的性能提升，而在 RLED 中仅带来微小改进，表明 DC 规划在利用专家数据的控制任务中具有潜力。

ABSTRACT

This paper reports applications of Difference of Convex functions (DC) programming to Learning from Demonstrations (LfD) and Reinforcement Learning (RL) with expert data. This is made possible because the norm of the Optimal Bellman Residual (OBR), which is at the heart of many RL and LfD algorithms, is DC. Improvement in performance is demonstrated on two specific algorithms, namely Reward-regularized Classification for Apprenticeship Learning (RCAL) and Reinforcement Learning with Expert Demonstrations (RLED), through experiments on generic Markov Decision Processes (MDP), called Garnets.

研究动机与目标

• 将 DC 规划技术从批量强化学习扩展至利用专家数据的控制与示范学习（LfD）任务。
• 通过将目标函数重新表述为 DC 程序，改进 RCAL 和 RLED 中的优化性能。
• 评估基于 DCA 的优化是否在这些算法中优于标准梯度下降。
• 研究基于 DC 的优化在具有专家示范的序列决策任务中的可扩展性与鲁棒性。
• 探索未来扩展基于 DC 的强化学习与 LfD 方法时，非参数梯度下降的潜力。

提出的方法

• 将最优贝尔曼残差（OBR）范数形式化为差分凸（DC）函数，从而支持 DC 规划的应用。
• 通过将正则化分类准则表示为凸函数之差，将 RCAL 和 RLED 算法重新表述为 DC 程序。
• 使用 DC 算法（DCA）通过梯度下降或线性规划迭代求解生成的凸子问题。
• 采用一致的更新次数和共享的初始化方式（如 LSPI 输出）以确保 DCA 与标准梯度下降之间的公平比较。
• 在不同规模的专家数据与回滚数据下，对随机生成的马尔可夫决策过程（Garnets）应用该方法。
• 使用平均回合回报和改进比率等性能指标，评估 DCA 与基线梯度下降的性能差异。

实验结果

研究问题

• RQ1 DC 规划能否有效应用于改进依赖 OBR 范数的强化学习与 LfD 算法的优化？
• RQ2 在最小化 RCAL 准则时，使用 DCA 是否能带来相对于标准梯度下降的可测量性能提升？
• RQ3 考虑到 RLED 在使用梯度下降时已表现良好，DCA 对其性能的提升程度如何？
• RQ4 专家数据与回滚数据的规模如何影响 DCA 相对于标准优化在 RLED 中的相对优势？
• RQ5 基于 DC 的优化能否扩展至非参数特征学习，以减少在强化学习与 LfD 中对人工设计特征的依赖？

主要发现

• DC 规划在 RCAL 中显著提升了性能，在多个 Garnet 环境中均观察到平均回合回报的明显提升。
• 与标准梯度下降相比，RCAL 使用 DCA 的改进比率非常可观，表明其具有显著的实证优势。
• 在 RLED 中，DCA 仅带来微小的性能改进，表明使用梯度下降的 RLED 本身已非常高效。
• 性能曲线与改进比率图均显示，RLED 与 RLEDDC（使用 DCA 的 RLED）之间的性能差距极小。
• 对 RLED 实验的放大分析确认，DCA 仅提供边际增益，这可能是由于基线性能本已优异。
• 结果表明，当 OBR 范数是主导优化准则时（如在 RCAL 中），DC 规划尤为有益。