[论文解读] Derivative-Free Methods for Policy Optimization: Guarantees for Linear Quadratic Systems

Dhruv Malik, Ashwin Pananjady+4 more|arXiv (Cornell University)|Dec 20, 2018

Stochastic processes and financial applications被引用 88

一句话总结

在高概率下，使用零阶方法可以从O~(1/ε^2)条轨迹获得ε-近似解。

ABSTRACT

We study derivative-free methods for policy optimization over the class of linear policies. We focus on characterizing the convergence rate of these methods when applied to linear-quadratic systems, and study various settings of driving noise and reward feedback. We show that these methods provably converge to within any pre-specified tolerance of the optimal policy with a number of zero-order evaluations that is an explicit polynomial of the error tolerance, dimension, and curvature properties of the problem. Our analysis reveals some interesting differences between the settings of additive driving noise and random initialization, as well as the settings of one-point and two-point reward feedback. Our theory is corroborated by extensive simulations of derivative-free methods on these systems. Along the way, we derive convergence rates for stochastic zero-order optimization algorithms when applied to a certain class of non-convex problems.

研究动机与目标

• 在未知动力学的线性二次控制中，激励并分析策略搜索的无导数优化。
• 在加性噪声和随机初始化下，刻画零阶方法的收敛速率与样本复杂度。
• 给出依赖于容忍度、维度和LQR代价曲率性质的显式界限。

提出的方法

• 研究应用于非凸、局部平滑的PL函数的标准随机零阶算法。
• 使用来自随机方向评估和同噪声对的单点和双点零阶梯度估计。
• 证明收敛保证，在多项式数量的轨迹下得到ε-近似解。
• 将通用结果对带随机初始化和加性噪声的LQR代价函数进行专门化，以获得显式收敛速度。
• 通过受控步长和马尔可夫过程/鞅证明，确保迭代点保持在稳定性区域内。

实验结果

研究问题

• RQ1 在线性二次系统中，导数-free方法获得ε次优策略的样本复杂度是多少？
• RQ2 单点反馈与双点反馈以及随机初始化与加性噪声如何影响收敛速率？
• RQ3 哪些曲率和光滑性性质能够使零阶收敛分析更尖锐？
• RQ4 稳定性约束如何影响零阶LQR优化中的参数选择与可实现的速率？

主要发现

• 在高概率下，使用零阶方法可以从O~(1/ε^2)条轨迹获得ε-近似解。
• 当每条轨迹使用双点成本观测时，这个样本量降至O~(1/ε)。
• 分析揭示了单点与双点反馈以及随机初始化与加性噪声设置之间的二分性。
• 带随机初始化和带噪声动力学的总体LQR成本在一个缩放因子下等价，便于性质的转移。
• 在某些设定下，将对ε的依赖从O(1/ε^4)改进为O(1/ε^2)，从而进一步收窄先前界限。
• 该工作还给出超出LQR的一类非凸问题的随机零阶优化的收敛速率。