[论文解读] Emotional Musical Prosody for the Enhancement of Trust in Robotic Arm Communication

Richard Savery, Lisa Zahray+1 more|arXiv (Cornell University)|Sep 18, 2020

Social Robot Interaction and HRI参考文献 35被引用 5

一句话总结

本研究探讨了情感性音乐语调——非语言、基于旋律的音频表达——是否能增强人机交互中对机械臂的信任。通过一个能以情感姿态和音频（音乐语调、单音高音调或无声音）作出响应的虚拟机械臂，研究发现尽管各组在实际决策行为上无显著差异，参与者在音乐语调条件下报告的信任度显著更高。

ABSTRACT

As robotic arms become prevalent in industry it is crucial to improve levels of trust from human collaborators. Low levels of trust in human-robot interaction can reduce overall performance and prevent full robot utilization. We investigated the potential benefits of using emotional musical prosody to allow the robot to respond emotionally to the user's actions. We tested participants' responses to interacting with a virtual robot arm that acted as a decision agent, helping participants select the next number in a sequence. We compared results from three versions of the application in a between-group experiment, where the robot had different emotional reactions to the user's input depending on whether the user agreed with the robot and whether the user's choice was correct. In all versions, the robot reacted with emotional gestures. One version used prosody-based emotional audio phrases selected from our dataset of singer improvisations, the second version used audio consisting of a single pitch randomly assigned to each emotion, and the final version used no audio, only gestures. Our results showed no significant difference for the percentage of times users from each group agreed with the robot, and no difference between user's agreement with the robot after it made a mistake. However, participants also took a trust survey following the interaction, and we found that the reported trust ratings of the musical prosody group were significantly higher than both the single-pitch and no audio groups.

研究动机与目标

• 探讨情感性音乐语调是否能增强人机交互中对机械臂的信任。
• 比较音乐语调、单音高音频和无音频对信任、好感度、智能感知和安全性的影响力。
• 评估情感音频响应是否能提升情感信任度及机器人出错后的信任恢复能力。
• 探索非语言、声学沟通方式作为机器人系统中视觉或语言线索的替代方案。
• 确定音乐语调是否能避免“恐怖谷”效应，同时有效传达情感于人机交互中。

提出的方法

• 开发了一个自定义的歌手即兴表演数据集，用于生成机器人响应的情感性音乐语调。
• 设计了一个虚拟机械臂，通过姿态和音频对用户选择作出情感反馈。
• 实施三种实验条件：(1) 搭配姿态的情感性音乐语调，(2) 搭配姿态的单音高音频，(3) 仅姿态（无音频）。
• 开展一项组间实验，46名参与者在数字序列决策任务中与机器人互动。
• 收集行为数据（与机器人一致的比率）并发放包含Godspeed量表（信任、智能、安全、好感度）的信任调查。
• 使用单因素方差分析和相关性分析，比较不同条件下信任评分与行为结果的差异。

实验结果

研究问题

• RQ1 与单音高音频或无音频相比，情感性音乐语调是否显著提升对机械臂的感知信任？
• RQ2 使用音乐语调是否能改善机器人做出错误建议后的信任恢复？
• RQ3 不同音频模态（音乐语调、单音高、无音频）如何影响机器人感知智能、安全性和好感度？
• RQ4 用户报告的信任度与其实际行为（与机器人建议的一致率）之间是否存在相关性？
• RQ5 非语言的音乐语调能否作为一种有效且不具侵入性的方法，用于机械臂的情感沟通？

主要发现

• 与单音高音频和无音频条件相比，参与者在音乐语调条件下报告的信任度显著更高（p < 0.05）。
• 三组用户与机器人一致的百分比无显著差异（p = 0.68）。
• 各组在机器人出错后的信任恢复方面无显著差异（p = 0.87），表明音频模态对错误后合作行为无显著影响。
• 音乐语调条件在信任、智能和好感度的中位数评分上高于其他两组，尽管仅拟人化程度达到统计显著性（p = 0.006）。
• 音乐语调组用户始终能感知到情感意图，评论中提到机器人“开心”或“难过”的反应取决于对错。
• 单音高音频条件在所有指标上均劣于仅姿态组，表明设计不当的音频可能损害人机交互效果。