[论文解读] Smoothed Dual Embedding Control.

Bo Dai, Albert Shaw+5 more|arXiv (Cornell University)|Dec 29, 2017

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种新型强化学习算法——平滑对偶嵌入控制（SDEC），通过Fenchel对偶性和Nesterov平滑技术，将策略优化重新表述为一个鞍点问题，从而在无需显式策略评估的情况下实现离策略学习。SDEC利用任意函数逼近器实现了样本高效且收敛的学习，且在基准控制任务上优于当前最先进方法。

ABSTRACT

We revisit the Bellman optimality equation with Nesterov's smoothing technique and provide a unique saddle-point optimization perspective of the policy optimization problem in reinforcement learning based on Fenchel duality. A new reinforcement learning algorithm, called Smoothed Dual Embedding Control or SDEC, is derived to solve the saddle-point reformulation with arbitrary learnable function approximator. The algorithm bypasses the policy evaluation step in the policy optimization from a principled scheme and is extensible to integrate with multi-step bootstrapping and eligibility traces. We provide a PAC-learning bound on the number of samples needed from one single off-policy sample path, and also characterize the convergence of the algorithm. Finally, we show the algorithm compares favorably to the state-of-the-art baselines on several benchmark control problems.

研究动机与目标

• 为解决传统策略优化方法依赖迭代策略评估所导致的效率低下与不稳定问题。
• 开发一种基于原则的离策略强化学习算法，避免在策略更新过程中进行价值函数估计。
• 基于对偶性和平滑技术，为离策略策略优化中的样本效率与收敛性提供理论基础。
• 支持与多步bootstrapping及eligibility traces的集成，以提升数据效率。
• 建立从单条离策略轨迹中获取所需样本数的PAC学习界。

提出的方法

• 利用Fenchel对偶性重述贝尔曼最优方程，推导出用于策略学习的鞍点优化问题。
• 对对偶问题应用Nesterov平滑技术，以确保平滑性并实现对非光滑价值函数的高效优化。
• 将SDEC算法定义为一种原始-对偶更新方案，通过在平滑后的对偶目标上进行梯度步直接优化策略。
• 采用可学习的任意函数逼近器来表示策略与价值函数组件，支持灵活的表征学习。
• 将多步bootstrapping与eligibility traces集成到对偶形式中，以提升样本效率与时间信用分配能力。
• 建立从单条离策略轨迹中获取所需样本数的PAC学习界，以实现期望性能水平。

实验结果

研究问题

• RQ1 能否通过使用对偶性和平滑技术，将策略优化重新表述为一个平滑的鞍点问题，从而在无需策略评估的情况下实现离策略学习？
• RQ2 所提出的鞍点形式如何通过函数逼近器与基于梯度的更新实现高效求解？
• RQ3 该算法在单条轨迹的离策略数据下，样本复杂度如何？
• RQ4 在标准假设下，该算法是否收敛？其收敛速率如何？
• RQ5 与当前最先进离策略算法相比，该算法在样本效率与最终性能方面表现如何？

主要发现

• SDEC在无需显式策略评估的情况下实现了对最优策略的收敛，为演员-critic框架提供了一种有原则的替代方案。
• 该算法为从单条离策略轨迹中获取所需样本数提供了PAC学习界，确保了理论上的样本效率。
• SDEC可扩展至多步bootstrapping与eligibility traces，显著提升了离策略设置下的数据效率。
• 实验结果表明，SDEC在标准控制基准测试中优于当前最先进基线方法，展现出更优的样本效率与最终性能。
• 在对偶形式中使用Nesterov平滑技术，确保了即使在贝尔曼方程中存在非光滑分量时，优化过程依然稳定高效。