[论文解读] Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

Zipeng Fu, Tony Z. Zhao+1 more|arXiv (Cornell University)|Jan 4, 2024

Robot Manipulation and Learning被引用 28

一句话总结

本文提出 Mobile ALOHA，一种低成本、全身遥控系统用于数据收集和模仿学习以实现双手移动操作，并显示与静态 ALOHA 数据共同训练在多种 imitation learning 方法下提升多任务性能。

ABSTRACT

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet. Project website: https://mobile-aloha.github.io

研究动机与目标

• 展示一种低成本的全身遥控系统，用于收集双手移动操作数据。
• 证明将底盘动作与手臂动作拼接成一个向量使端到端模仿学习在移动操作中更有效。
• 研究与静态 ALOHA 数据集的协同训练，以提升数据效率和性能。
• 在多种任务中评估与多种模仿学习方法的兼容性。

提出的方法

• 在 ALOHA 系统中扩展带轮移动底座，以实现全身遥控，并收集关节-臂和底座速度数据。
• 将动作表述为一个16维向量，结合14自由度的臂关节位置和2D底座速度，以用于端到端模仿学习。
• 通过将 Mobile ALOHA 示范与静态 ALOHA 数据混合，不进行特殊预处理，使用共享的模仿损失进行协同训练。
• 评估 Mobile ALOHA 数据与 ACT、Diffusion Policy、VINN 的兼容性，使用动作分块以提高轨迹连贯性。
• 在移动和静态数据集中以等概率抽样，并对静态动作进行0填充以匹配训练维度。
• 在七个移动操作任务上进行广泛的真实世界实验，以评估成功率和数据效率。

实验结果

研究问题

• RQ1 通过协同训练，Mobile ALOHA 能否用较少示范获得复杂的双手移动操作技能？
• RQ2 现有的模仿学习方法（ACT、Diffusion Policy、VINN）能否与 Mobile ALOHA 数据有效工作？
• RQ3 与静态双手数据的协同训练是否提升移动操作任务的性能和数据效率？
• RQ4 数据混合比例和预训练对性能有何影响？
• RQ5 用于学习移动操作的实际数据收集和遥控的人机工效学是什么？

主要发现

• 与静态 ALOHA 数据协同训练在多任务上提升成功率，在每个任务50个示范时甚至提升高达90%。
• Mobile ALOHA 能在打开橱柜、呼叫电梯、进行烹饪动作等任务上实现80-95% 的成功率，展现高性能的双手移动操作。
• ACT、Diffusion Policy、VINN 与 Mobile ALOHA 数据兼容；ACT 和 Diffusion Policy 在协同训练下获得良好性能，而 VINN 呈现混合结果。
• 协同训练提升数据效率；在35个领域内示范下，协同训练可超越50次示范的非协同策略。
• 协同训练对不同数据混合具有鲁棒性，在所评估的任务中优于对静态 ALOHA 数据的预训练。