[论文解读] Contrasting Exploration in Parameter and Action Space: A Zeroth-Order Optimization Perspective

Anirudh Vemula, Wen Sun+1 more|arXiv (Cornell University)|Jan 31, 2019

Evolutionary Algorithms and Applications被引用 16

一句话总结

本文通过零阶优化理论，对比了强化学习中参数空间与动作空间探索的差异。理论证明，参数空间方法的样本复杂度随策略参数维度 d 增长，而动作空间方法则依赖于动作维度 p 和时域 H。关键发现是：在低维策略的长时域任务中，参数空间方法优于动作空间方法；而在短时域或高参数维度设置下，动作空间方法表现更优。

ABSTRACT

Black-box optimizers that explore in parameter space have often been shown to outperform more sophisticated action space exploration methods developed specifically for the reinforcement learning problem. We examine these black-box methods closely to identify situations in which they are worse than action space exploration methods and those in which they are superior. Through simple theoretical analyses, we prove that complexity of exploration in parameter space depends on the dimensionality of parameter space, while complexity of exploration in action space depends on both the dimensionality of action space and horizon length. This is also demonstrated empirically by comparing simple exploration methods on several model problems, including Contextual Bandit, Linear Regression and Reinforcement Learning in continuous control.

研究动机与目标

• 理解黑箱参数空间优化在何种情况下优于动作空间探索。
• 利用零阶优化理论分析两种探索策略的样本复杂度。
• 识别尽管方差更高，动作空间方法在何种条件下仍更优。
• 为 ARS 等方法在长时域控制任务中取得的实证成功提供理论与实证支持。
• 阐明环境随机性对零阶策略搜索收敛速度的影响。

提出的方法

• 利用零阶优化理论，推导出参数空间与动作空间探索的理论样本复杂度边界。
• 通过一个单步上下文Bandit问题（带部分反馈的在线线性回归）比较样本复杂度。
• 将分析扩展至多步控制问题，基于非凸零阶优化，推导出收敛至驻点的边界。
• 在 Swimmer 与 HalfCheetah 环境中，通过改变时域长度，对 ARS（参数空间）与 ExAct（动作空间）进行实证评估。
• 通过具有已知梯度的随机 LQR 环境，测试环境随机性对收敛速度的影响。
• 在维度、时域和噪声等可控变量下，比较不同方法的性能表现。

实验结果

研究问题

• RQ1 在何种条件下，参数空间探索优于动作空间探索？
• RQ2 参数空间方法的样本复杂度如何随策略参数维度 d 变化？
• RQ3 动作空间方法的样本复杂度如何依赖于动作维度 p 和时域 H？
• RQ4 环境随机性对零阶策略搜索收敛速度有何影响？
• RQ5 为何简单黑箱方法如 ARS 在长时域基准测试中优于复杂演员-评论家方法？

主要发现

• 参数空间探索需 O(d²/ϵ³) 个样本，才能使结果与驻点的距离在 ϵ 以内，其中 d 为策略参数维度。
• 动作空间探索需 O(p²H⁴/ϵ⁴) 个样本，明确表现出对时域 H 和动作维度 p 的依赖。
• 在短时域任务中，若 d 较大，动作空间方法优于参数空间方法，因其不依赖 d。
• 在长时域任务中，若 d 较小，参数空间方法优于动作空间方法，因其不依赖 H。
• 环境随机性增强会减缓两种方法的收敛速度，噪声越大，达到驻点所需的样本数越多。
• 在 Swimmer 与 HalfCheetah 上的实证结果验证了理论预测：随着时域 H 超过 100，ARS（参数空间）优于 ExAct（动作空间）。