[论文解读] Explicitly Encouraging Low Fractional Dimensional Trajectories Via Reinforcement Learning.

Sean Gillen, Katie Byl|arXiv (Cornell University)|Jan 1, 2020

Evolutionary Algorithms and Applications被引用 2

一句话总结

本文提出了一种强化学习（RL）方法，通过利用分形几何概念修改奖励函数，显式降低智能体轨迹的分数维。该方法增强了对噪声和扰动的鲁棒性，实验结果表明在受控系统中轨迹维度更低、更稳定。

ABSTRACT

A key limitation in using various modern methods of machine learning in developing feedback control policies is the lack of appropriate methodologies to analyze their long-term dynamics, in terms of making any sort of guarantees (even statistically) about robustness. The central reasons for this are largely due to the so-called curse of dimensionality, combined with the black-box nature of the resulting control policies themselves. This paper aims at the first of these issues. Although the full state space of a system may be quite large in dimensionality, it is a common feature of most model-based control methods that the resulting closed-loop systems demonstrate dominant dynamics that are rapidly driven to some lower-dimensional sub-space within. In this work we argue that the dimensionality of this subspace is captured by tools from fractal geometry, namely various notions of a fractional dimension. We then show that the dimensionality of trajectories induced by model free reinforcement learning agents can be influenced adding a post processing function to the agents reward signal. We verify that the dimensionality reduction is robust to noise being added to the system and show that that the modified agents are more actually more robust to noise and push disturbances in general for the systems we examined.

研究动机与目标

• 为解决由于高维状态空间和策略的黑箱性质，导致在基于强化学习的控制策略中分析长期动态的挑战。
• 探究是否可以通过奖励塑造显式控制强化学习智能体轨迹的内在维度——这些轨迹的维度通常低于完整状态空间。
• 开发一种利用分形几何，特别是分数维，作为轨迹复杂性和稳定性度量的方法论。
• 通过鼓励低维、更可预测的轨迹，提升强化学习策略对噪声和外部扰动的鲁棒性。

提出的方法

• 该方法在强化学习智能体的奖励信号中添加一个后处理函数，基于分形维数度量对高维轨迹施加惩罚。
• 使用分形几何中的盒计数法或类似技术估计分数维，以量化随时间推移的状态轨迹复杂性。
• 奖励塑造函数被设计为降低智能体在状态空间中路径的有效维度，偏好收敛至低维流形的轨迹。
• 将修改后的奖励信号集成到标准强化学习算法（如PPO或SAC）中，实现在不改变环境动力学的前提下引入维度约束的训练。
• 在训练和推理过程中系统性地引入噪声，以评估修改后策略的鲁棒性。
• 在基准控制任务上验证该方法，这些任务的主导动力学已知存在于低维子空间中。

实验结果

研究问题

• RQ1 在无模型强化学习设置中，是否能通过奖励塑造有效降低强化学习智能体轨迹的分数维？
• RQ2 降低轨迹维度是否能提升对过程噪声和外部扰动的鲁棒性？
• RQ3 与标准强化学习相比，该方法在稳定性和收敛至低维流方面表现如何？
• RQ4 在不同水平的系统噪声和扰动下，维度降低效果是否保持不变？
• RQ5 分数维能否作为高维控制系统的可靠且可操作的度量，用于指导策略学习？

主要发现

• 与基线智能体相比，经修改的强化学习智能体产生的轨迹分数维显著降低，表明其收敛至低维流形。
• 维度降低对系统动力学中的加性噪声具有鲁棒性，在扰动下仍保持稳定性能。
• 采用所提奖励塑造训练的策略对推力扰动和噪声表现出更强的鲁棒性，在稳定性和恢复能力方面优于标准强化学习智能体。
• 该方法成功促使轨迹在高维状态空间中演化至主导的低维子空间。
• 将分数维作为控制目标证明在引导策略学习朝向更可预测和鲁棒的行为方面是有效的。
• 实证结果证实，低维轨迹与更高的长期鲁棒性相关，验证了该方法的核心假设。