[论文解读] Hierarchical Learning for Modular Robots

Risto Kojcev, Nora Etxezarreta+2 more|arXiv (Cornell University)|Feb 12, 2018

Modular Robots and Swarm Intelligence参考文献 10被引用 4

一句话总结

本文提出一种基于元学习共享层级（MLSH）的分层深度强化学习方法，使模块化机器人能够学习并泛化于多种构型（3DoF 和 4DoF）与任务（到达目标位置）。该方法训练一个主策略以选择特定任务的子策略（运动基元），在仿真和真实世界实验中均实现了高精度的目标到达，且仅需极少的微调。

ABSTRACT

We argue that hierarchical methods can become the key for modular robots achieving reconfigurability. We present a hierarchical approach for modular robots that allows a robot to simultaneously learn multiple tasks. Our evaluation results present an environment composed of two different modular robot configurations, namely 3 degrees-of-freedom (DoF) and 4DoF with two corresponding targets. During the training, we switch between configurations and targets aiming to evaluate the possibility of training a neural network that is able to select appropriate motor primitives and robot configuration to achieve the target. The trained neural network is then transferred and executed on a real robot with 3DoF and 4DoF configurations. We demonstrate how this technique generalizes to robots with different configurations and tasks.

研究动机与目标

• 通过分层强化学习，使模块化机器人能够学习并泛化于多种构型和任务。
• 评估共享策略结构是否能够支持对新机器人构型和目标位置的快速适应。
• 验证所学子策略（运动基元）在不同自由度（DoF）和目标目标间的可迁移性。
• 展示该分层方法在物理模块化机器人上的实际应用能力。
• 研究主策略是否能为相同的构型-目标对一致地选择相同的子策略序列，以表明已学习到运动基元。

提出的方法

• 该方法采用元学习共享层级（MLSH），其中共享策略向量 φ 在任务间进行优化，而任务特定参数 θ 用于选择子策略。
• 训练分为两个阶段：首先进行热身阶段，固定子策略并更新主策略；随后进入联合更新阶段，同时优化 θ 和 φ。
• 分层策略结构使用持续 5 个时间步的宏观动作（选项），共为 2 种构型 × 2 个目标训练了 4 个子策略。
• 采用随机策略 πφ,θ(a|s)，主策略根据当前状态从子策略中进行选择。
• 该方法利用任务间的共享运动基元，实现对未见构型和目标的快速适应。
• 网络首先在仿真环境中训练，随后部署于具备 3DoF 和 4DoF 构型的真实 Scara 类模块化机器人上。

实验结果

研究问题

• RQ1 分层强化学习方法是否能利用共享策略参数，在不同模块化机器人构型（3DoF 和 4DoF）间实现泛化？
• RQ2 主策略是否对相同的构型和目标始终选择相同的子策略序列，表明已学习到运动基元？
• RQ3 所训练网络在仿真和真实世界执行中，实现目标位置精确到达的程度如何？
• RQ4 该方法在不同机器人形态下，从仿真到真实硬件的迁移性能如何？
• RQ5 共享策略结构是否能实现在无需重新训练的情况下快速适应新任务？

主要发现

• 训练后的 MLSH 网络在 3DoF 和 4DoF 真实机器人构型上成功到达目标位置，平均误差分别为 31.06 mm（O 中心）和 60.36 mm（H 中心）。
• 在仿真中，网络实现了近乎完美的收敛，3DoF 的标准差低于 2×10⁻⁷ mm，4DoF 的标准差为 3.49×10⁻¹⁵ mm，表明具有高度稳定性。
• 主策略对每个构型-目标对均一致地选择相同的子策略序列，支持了子策略代表泛化运动基元的假设。
• 该方法在仿真到真实硬件的迁移中表现出色，真实机器人性能与仿真结果高度一致。
• 4DoF 构型的误差（O 为 37.02 mm，H 为 48.82 mm）高于 3DoF，可能由于复杂度增加和机械差异所致。
• 最后 10 个末端执行器位置的标准差极低（≤ ±0.15 mm），表明收敛后轨迹稳定且可重复。