[论文解读] Robust Predictable Control

Benjamin Eysenbach, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Sep 7, 2021

Advanced Control Systems Optimization参考文献 36被引用 12

一句话总结

该论文提出鲁棒可预测控制（RPC），一种强化学习方法，通过联合优化潜在世界模型与策略以最小化信息使用量，利用预测建模与比特回溯编码技术。RPC在相同比特率下相较标准信息瓶颈方法实现最高5倍的回报提升，通过偏好模型准确且行为可预测的状态，学习到更具鲁棒性、泛化性与自洽性的策略。

ABSTRACT

Many of the challenges facing today's reinforcement learning (RL) algorithms, such as robustness, generalization, transfer, and computational efficiency are closely related to compression. Prior work has convincingly argued why minimizing information is useful in the supervised learning setting, but standard RL algorithms lack an explicit mechanism for compression. The RL setting is unique because (1) its sequential nature allows an agent to use past information to avoid looking at future observations and (2) the agent can optimize its behavior to prefer states where decision making requires few bits. We take advantage of these properties to propose a method (RPC) for learning simple policies. This method brings together ideas from information bottlenecks, model-based RL, and bits-back coding into a simple and theoretically-justified algorithm. Our method jointly optimizes a latent-space model and policy to be self-consistent, such that the policy avoids states where the model is inaccurate. We demonstrate that our method achieves much tighter compression than prior methods, achieving up to 5x higher reward than a standard information bottleneck. We also demonstrate that our method learns policies that are more robust and generalize better to new tasks.

研究动机与目标

• 为解决标准强化学习算法中缺乏显式压缩机制的问题，该问题限制了鲁棒性、泛化性与迁移能力。
• 利用决策过程的序列特性，使智能体能够利用历史信息以减少未来感知需求。
• 使智能体能够调整其行为，以访问动力学更易预测与压缩的状态。
• 开发一种理论基础扎实的方法，统一信息瓶颈、基于模型的强化学习与比特回溯编码，以提升策略的简洁性与一致性。
• 证明压缩策略在鲁棒性与泛化性方面优于标准强化学习与信息瓶颈基线方法。

提出的方法

• RPC 使用变分推理框架结合比特回溯编码，联合训练潜在空间世界模型与控制策略，以最小化观测与动作之间的互信息。
• 策略被优化为偏好世界模型准确的状态，从而实现自洽行为并提升预测性规划能力。
• 该方法使用变分后验分布近似潜在变量的后验分布，支持通过随机梯度下降进行端到端训练。
• 它将信息瓶颈原理应用于观测序列而非单个观测，以捕捉时间上的可预测性。
• 目标函数包含世界模型的重建项与KL散度项，以强制压缩策略的信息使用量。
• 策略被训练为在最大化回报的同时最小化表示状态-动作关系所使用的比特数，偏好可预测且简洁的行为。

实验结果

研究问题

• RQ1 联合优化世界模型与策略是否能带来更强的压缩能力与强化学习中的更高鲁棒性？
• RQ2 通过预测建模与比特回溯编码最小化信息使用量，是否能产生在不同任务与环境中泛化能力更强的策略？
• RQ3 智能体是否能通过调整行为以访问更易压缩与预测的状态而获益？
• RQ4 与标准信息瓶颈方法及基于模型的强化学习相比，基于压缩的策略学习在应对观测干扰与对抗性攻击时是否更具鲁棒性？
• RQ5 信息使用量的降低在多大程度上能促成强化学习中的分层化与可组合行为？

主要发现

• 当与标准信息瓶颈方法在相同比特率下比较时，RPC实现最高5倍的回报提升，证明了其更高的压缩效率。
• RPC策略在观测丢失情况下表现出显著更强的鲁棒性，即使高达50%的观测缺失，仍能保持高性能，优于各类基线方法。
• RPC学习到的压缩策略对观测与动力学的对抗性攻击更具韧性，使用少于3比特/状态的策略在强扰动下仍能保持直立姿态，而高比特率策略则失效。
• RPC策略在动力学扰动（如机器人质量增加或摩擦减小）下泛化能力更强，低比特率策略在分布偏移下表现更优。
• 该方法学习到的表征适用于分层强化学习，行为的可组合性已在压缩学习下得到验证。
• 比特率作为性能与鲁棒性之间的可控权衡，较低比特率产生更鲁棒的策略，代价是训练回报降低。