[论文解读] Convergence of Value Aggregation for Imitation Learning

Ching-An Cheng, Byron Boots|arXiv (Cornell University)|Jan 22, 2018

Reinforcement Learning in Robotics参考文献 18被引用 8

一句话总结

本文挑战了模仿学习中价值聚合始终产生收敛策略序列且性能持续提升的普遍假设。它识别出一个决定收敛性的关键稳定性常数 θ，并为最后一个策略提供了紧致的非渐近性能界，表明当 θ < 1 时收敛发生；正则化可稳定最后一个策略，使实践者能够安全地使用它而无需额外的模型选择。

ABSTRACT

Value aggregation is a general framework for solving imitation learning problems. Based on the idea of data aggregation, it generates a policy sequence by iteratively interleaving policy optimization and evaluation in an online learning setting. While the existence of a good policy in the policy sequence can be guaranteed non-asymptotically, little is known about the convergence of the sequence or the performance of the last policy. In this paper, we debunk the common belief that value aggregation always produces a convergent policy sequence with improving performance. Moreover, we identify a critical stability condition for convergence and provide a tight non-asymptotic bound on the performance of the last policy. These new theoretical insights let us stabilize problems with regularization, which removes the inconvenient process of identifying the best policy in the policy sequence in stochastic problems.

研究动机与目标

• 研究模仿学习中通过价值聚合生成的策略序列的收敛行为。
• 识别序列中最后一个策略收敛并表现良好的结构性条件。
• 在确定性和随机设置下，为最终策略提供非渐近性能界。
• 开发正则化技术以稳定最后一个策略，而无需从整个序列中选择最佳策略。
• 解释在非凸设置下使用神经网络时 AggreVaTe 的经验成功原因。

提出的方法

• 引入一个稳定性常数 θ，基于代价函数梯度的利普希茨连续性，用以判断策略序列是否收敛。
• 利用稳定性常数 θ，推导出最后一个策略 πN 性能的紧致非渐近界。
• 通过引入强凸项 R(x) 的正则化，将有效稳定性常数 ˜θ 降低至 1 以下，从而确保最后一个策略的收敛。
• 分析混合策略（例如，组合 πn 和 π∗）的使用，通过控制混合率 q 来稳定问题。
• 应用 AggreVaTe 算法，采用修改后的每轮代价函数 ˆF 和 ˜F，以确保收敛并提升泛化性能。
• 通过梯度扰动分析，解释在非凸设置下使用神经网络策略时的鲁棒性。

实验结果

研究问题

• RQ1 价值聚合生成的策略序列在何种条件下收敛？
• RQ2 尽管存在理论不确定性，为何序列中的最后一个策略在实践中通常表现良好？
• RQ3 我们能否为随机模仿学习问题中的最后一个策略提供非渐近性能界？
• RQ4 正则化如何稳定最后一个策略，从而消除从序列中选择最佳策略的需求？
• RQ5 问题的何种结构特性决定了价值聚合过程的收敛性？

主要发现

• 价值聚合中策略序列的收敛性关键取决于一个稳定性常数 θ；仅当 θ < 1 时，收敛才能得到保证。
• 推导出最后一个策略 πN 性能的紧致非渐近界，表明当 θ < 1 时，J(πN) ≤ J(π∗) + ˜O(1/N)。
• 当 θ > 1 时，策略序列可能发散，这与“最后一个策略总是最优”的常见启发式相矛盾。
• 通过强凸项 R(x) 的正则化，可将有效稳定性常数 ˜θ 降低至 1 以下，从而确保最后一个策略的收敛。
• 正则化带来的性能损失被限制在误差项 ˜ǫΠ,π∗ 的乘法因子 (1 + λ) 内，且可通过扩大策略类来最小化该因子。
• 基于梯度扰动的理论分析，解释了 AggreVaTe 在非凸问题中使用深度神经网络策略时的经验成功。