[论文解读] MAVI: A Research Platform for Telepresence and Teleoperation

Mojtaba Karimi, Tamay Aykut+1 more|arXiv (Cornell University)|May 23, 2018

Teleoperation and Haptic Systems参考文献 14被引用 8

一句话总结

MAVI 是一款低成本、开源的远程呈现机器人平台，具备全向全向运动能力，配备7自由度圆柱形机械臂（带平行夹爪）以及可驱动的立体全景云台单元（PTRU），实现360°沉浸式视觉体验。该平台基于ROS软件框架构建，支持在室内环境中实现半自主远程操作，提供实时感官反馈（包括力觉、IMU和立体视觉），可在复杂环境中实现稳健的远程操作与导航。

ABSTRACT

One of the goals in telepresence is to be able to perform daily tasks remotely. A key requirement for this is a robust and reliable mobile robotic platform. Ideally, such a platform should support 360-degree stereoscopic vision and semi-autonomous telemanipulation ability. In this technical report, we present our latest work on designing the telepresence mobile robot platform called MAVI. MAVI is a low-cost and robust but extendable platform for research and educational purpose, especially for machine vision and human interaction in telepresence setups. The MAVI platform offers a balance between modularity, capabilities, accessibility, cost and an open source software framework. With a range of different sensors such as Inertial Measurement Unit (IMU), 360-degree laser rangefinder, ultrasonic proximity sensors, and force sensors along with smart actuation in omnidirectional holonomic locomotion, high load cylindrical manipulator, and actuated stereoscopic Pan-Tilt-Roll Unit (PTRU), not only MAVI can provide the basic feedbacks from its surroundings, but also can interact within the remote environment in multiple ways. The software architecture of MAVI is based on the Robot Operating System (ROS) which allows for the easy integration of the state-of-the-art software packages.

研究动机与目标

• 开发一款低成本、稳健且可扩展的远程呈现机器人平台，用于机器视觉与人机交互领域的科研与教学。
• 通过可驱动的PTRU实现360°立体视觉，模拟用户头部运动，提供沉浸式远程存在体验。
• 通过高负载圆柱形机械臂与力觉反馈传感器，支持与环境的多模态交互。
• 提供模块化、开源的软硬件平台，在成本、模块化与性能之间实现平衡，适用于远程操作研究。
• 集成先进传感（IMU、激光、超声波、力觉）与实时控制，确保在室内环境中可靠导航与操作。

提出的方法

• 设计基于麦格纳轮（Mecanum wheels）的全向全向运动系统，配备定制线性垂直悬挂装置，提升稳定性和载重能力。
• 实现7自由度圆柱形机械臂，配备平行夹爪与集成力传感器，用于精确的远程操作任务。
• 开发可驱动的立体全景云台单元（PTRU），配备两个鱼眼镜头摄像头，实现360°立体视觉并同步用户头部运动。
• 集成多种传感器（IMU、激光测距仪、超声波传感器、力传感器）用于环境感知与状态估计。
• 采用基于ROS的软件架构，分层节点设计：驱动层（100Hz 实时传感器读取）、控制层（100Hz 控制循环，用于移动、机械臂、PTRU与SLAM）、应用层用于高层命令处理。
• 在PTRU控制回路中采用延迟补偿机制，基于头部运动预测，减少视觉延迟，提升用户沉浸感。

实验结果

研究问题

• RQ1 如何通过低成本、模块化的远程呈现机器人平台，在室内环境中实现稳健的360°立体视觉与半自主操作？
• RQ2 何种软硬件架构能够实现可靠、实时的远程操作，支持多模态反馈（视觉、触觉、听觉）并保持极低延迟？
• RQ3 全向全向运动系统结合悬挂装置，如何提升室内远程呈现机器人的稳定性和性能？
• RQ4 基于ROS的框架与分布式处理（机器人端与客户端节点）在多大程度上支持可扩展、可扩展的远程操作系统？
• RQ5 在PTRU中集成力觉反馈与预测控制，如何提升用户的沉浸感与远程呈现体验？

主要发现

• MAVI平台成功整合了全向全向运动系统、7自由度圆柱形机械臂与360°立体PTRU，实现全身远程存在与操作。
• 采用100Hz实时控制循环控制移动、机械臂与PTRU，确保响应迅速且动作精准，PTRU中的延迟补偿显著减少视觉延迟。
• 基于ROS的软件框架可无缝集成先进软件包，关键实时节点运行于机器人端，非实时节点运行于客户端。
• 系统通过Gmapping SLAM包实现可靠的室内导航与建图，利用激光测距仪、里程计、超声波传感器与IMU数据，运行频率为10Hz。
• 平台集成双颗BNO055九轴IMU（分别安装于机体与PTRU），以100Hz频率提供精确、滤波后的姿态与运动数据，显著提升运动追踪与反馈质量。
• 平台支持通过Thalmic Labs智能臂环实现手势控制，用户可通过手臂姿态与肌电信号（EMG）实现直观的移动与操作指令输入。