[论文解读] Body Gesture Recognition to Control a Social Robot

Javier Laplaza, Joan Jaume Oliver+3 more|arXiv (Cornell University)|Jun 15, 2022

Robotics and Automated Systems被引用 4

一句话总结

本文提出了一种基于神经网络的肢体动作识别系统，利用自定义的自然人类动作数据集，实现与社交机器人之间直观的非语言交流。该模型在分类静态全身动作时准确率超过80%，实验表明用户认为具备动作识别功能的机器人比依赖遥控操作的机器人更自然、更具社交性且更令人舒适。

ABSTRACT

In this work, we propose a gesture based language to allow humans to interact with robots using their body in a natural way. We have created a new gesture detection model using neural networks and a custom dataset of humans performing a set of body gestures to train our network. Furthermore, we compare body gesture communication with other communication channels to acknowledge the importance of adding this knowledge to robots. The presented approach is extensively validated in diverse simulations and real-life experiments with non-trained volunteers. This attains remarkable results and shows that it is a valuable framework for social robotics applications, such as human robot collaboration or human-robot interaction.

研究动机与目标

• 开发一种无需用户具备机器人使用经验的自然手势交互方法，用于人机交互。
• 创建由非专业志愿者完成的全身动作自定义数据集。
• 从用户感知和参与度的角度，对比手势交互与传统遥控操作在人机交互中的表现。
• 探究手势识别是否能提升人机交互中感知到的社交性、自然性和舒适度。

提出的方法

• 从15名未经训练的志愿者处收集了15种全身动作的自定义数据集，动作为静态姿势。
• 使用MediaPipe Pose从视频序列的最后一帧中提取33个3D身体关键点（x, y, z, 可见性）。
• 采用包含ReLU激活函数的四层全连接神经网络，基于33个身体关键点坐标对动作进行分类。
• 模型使用带有批量归一化和Dropout正则化的线性分类器，以提升泛化能力。
• 实验在真实场景中使用IVO机器人对比了手势识别与遥控操作，参与者为非专业用户。
• 通过问卷调查评估用户感知，采用7点李克特量表测量社交性、自然性、安全性与舒适度。

实验结果

研究问题

• RQ1 非专业用户如何评价手势交互与遥控操作在人机交互中的表现？
• RQ2 手势识别在多大程度上提升了社交机器人的自然性和社交性感知？
• RQ3 深度学习模型能否仅基于视频输入的最后一帧准确分类静态全身动作？
• RQ4 手势识别如何影响用户在与机器人交互过程中的舒适度和控制感？
• RQ5 手势识别对感知到的安全性和人机协作中的参与度有何影响？

主要发现

• 手势识别模型对大多数动作的分类准确率超过80%，但对视觉上相似的动作识别效果较差。
• 用户在自然性、社交性、舒适度和安全性方面对手势交互的评分显著高于遥控操作（p < 0.05）。
• 当机器人能够理解用户手势时，用户认为其更具人类特征和社交性，从而导致交互时间更长。
• 用户认为机器人使用语音和语言反馈是恰当的，并显著提升了交互体验。
• 本研究证实，手势识别能显著改善用户在真实场景中对社交机器人的感知与接受度。