[论文解读] Towards continuous control of flippers for a multi-terrain robot using deep reinforcement learning

Giuseppe Paolo, Lei Tai+1 more|arXiv (Cornell University)|Sep 25, 2017

Reinforcement Learning in Robotics参考文献 17被引用 6

一句话总结

本文提出一种基于深度确定性策略梯度（DDPG）的深度强化学习（DRL）控制器，用于实现多地形履带式机器人翻滚器的连续、端到端控制，以完成爬楼梯任务。尽管面临部分可观测性和复杂动力学的挑战，该方法仍能从原始摄像头输入中学习，但在仿真中容易陷入局部极小值和次优策略，凸显了改进奖励函数设计与引入循环网络的必要性。

ABSTRACT

In this paper we focus on developing a control algorithm for multi-terrain tracked robots with flippers using a reinforcement learning (RL) approach. The work is based on the deep deterministic policy gradient (DDPG) algorithm, proven to be very successful in simple simulation environments. The algorithm works in an end-to-end fashion in order to control the continuous position of the flippers. This end-to-end approach makes it easy to apply the controller to a wide array of circumstances, but the huge flexibility comes to the cost of an increased difficulty of solution. The complexity of the task is enlarged even more by the fact that real multi-terrain robots move in partially observable environments. Notwithstanding these complications, being able to smoothly control a multi-terrain robot can produce huge benefits in impaired people daily lives or in search and rescue situations.

研究动机与目标

• 开发一种基于深度强化学习的连续、端到端翻滚器控制策略，用于多地形履带式机器人。
• 使机器人仅通过原始摄像头输入和学习到的动作，自主完成爬楼梯任务。
• 解决在真实机器人控制中因部分可观测性带来的挑战。
• 评估DDPG在模拟复杂连续控制任务（面向实体机器人）时的可行性与局限性。
• 识别关键故障模式，并为未来基于DRL的机器人控制系统设计改进方案。

提出的方法

• 控制策略采用深度确定性策略梯度（DDPG）算法学习，这是一种连续动作的DRL方法。
• 智能体通过观察连续四帧摄像头图像来推断运动与速度，模拟时间上下文，而无需显式记忆机制。
• 动作空间由翻滚器关节角度的连续控制信号构成，实现平滑、实时的调整。
• 设计了定制化的奖励函数，对平台俯仰角过大（来自IMU数据）、翻滚器姿态低效以及前进停滞进行惩罚，以引导学习过程。
• 训练完全在仿真环境中进行，以避免探索过程中对真实硬件造成风险。
• 使用神经网络将原始视觉观测映射为连续动作，未采用人工设计的特征或中间表示。

实验结果

研究问题

• RQ1 DDPG能否在部分可观测、复杂的环境（如爬楼梯）中学习到稳定、连续的机器人翻滚器控制策略？
• RQ2 奖励函数的设计如何影响该任务中DRL智能体的收敛性与性能表现？
• RQ3 使用多帧输入在多大程度上可弥补前馈网络中缺乏循环记忆的缺陷？
• RQ4 DDPG智能体在此任务中的主要故障模式是什么？其与网络架构和奖励函数设计有何关联？
• RQ5 与前馈网络中的帧堆叠相比，使用循环神经网络（如LSTM）是否能通过更好地建模时间动态来提升策略学习效果？

主要发现

• DDPG智能体在仿真中成功学会爬楼梯，证明了端到端DRL可应用于机器人领域复杂的连续控制任务。
• 尽管学习过程有进展（表现为损失和Q值趋势下降），智能体仍频繁陷入局部极小值，例如当翻滚器处于-90°位置时，导致效率低下或导航失败。
• 2D卷积网络架构优于3D版本，表明在早期网络阶段通过卷积分支处理时间信息更为有效。
• 使用四帧堆叠作为输入仍不足以有效捕捉运动动力学，表明需要引入LSTM等循环网络以直接建模时间依赖性。
• 奖励函数虽能有效抑制危险或停滞行为，但不足以引导智能体走向最优策略，表明仍有优化空间。
• 本研究指出，当前采用帧堆叠的前馈网络在时间序列建模方面存在不足，而改用循环架构可显著提升性能。