[논문 리뷰] Emotional Musical Prosody for the Enhancement of Trust in Robotic Arm Communication

Richard Savery, Lisa Zahray외 1명|arXiv (Cornell University)|2020. 09. 18.

Social Robot Interaction and HRI참고 문헌 35인용 수 5

한 줄 요약

이 연구는 감정적 음악적 억양—비언어적, 멜로디 기반의 음성 표현—이 로봇 팔 상호작용에서 신뢰를 향상시키는지 조사한다. 가상의 로봇 팔이 감정적 제스처와 음성(음악적 억양, 단일 음정 음색, 또는 소리 없음)으로 반응하도록 설계한 연구에서, 참가자들은 음악적 억양 조건에서 유의미하게 더 높은 신뢰를 보고했지만, 그룹 간 실제 의사결정 행동에 유의미한 차이가 없었다.

ABSTRACT

As robotic arms become prevalent in industry it is crucial to improve levels of trust from human collaborators. Low levels of trust in human-robot interaction can reduce overall performance and prevent full robot utilization. We investigated the potential benefits of using emotional musical prosody to allow the robot to respond emotionally to the user's actions. We tested participants' responses to interacting with a virtual robot arm that acted as a decision agent, helping participants select the next number in a sequence. We compared results from three versions of the application in a between-group experiment, where the robot had different emotional reactions to the user's input depending on whether the user agreed with the robot and whether the user's choice was correct. In all versions, the robot reacted with emotional gestures. One version used prosody-based emotional audio phrases selected from our dataset of singer improvisations, the second version used audio consisting of a single pitch randomly assigned to each emotion, and the final version used no audio, only gestures. Our results showed no significant difference for the percentage of times users from each group agreed with the robot, and no difference between user's agreement with the robot after it made a mistake. However, participants also took a trust survey following the interaction, and we found that the reported trust ratings of the musical prosody group were significantly higher than both the single-pitch and no audio groups.

연구 동기 및 목표

• 감정적 음악적 억양이 로봇 팔을 이용한 인간-로봇 상호작용에서 신뢰를 향상시킬 수 있는지 조사하기.
• 음악적 억양, 단일 음정 음성, 음성 없음의 영향을 비교하여 신뢰, 호감도, 지능 인식, 안전성에 미치는 영향을 평가하기.
• 감정적 음성 반응이 정서적 신뢰와 로봇의 실수 후 회복 능력 향상에 기여하는지 평가하기.
• 로봇 시스템에서 시각적 또는 언어적 신호의 대안으로 비언어적 소리 신호를 탐색하기.
• 음악적 억양이 효과적으로 감정을 전달하면서도 '기묘한 골짜이' 현상을 피할 수 있는지 확인하기.

제안 방법

• 로봇 반응을 위한 감정적 음악적 억양을 생성하기 위해 가수의 즉흥 연주를 기반으로 한 맞춤형 데이터셋을 개발하였다.
• 사용자 선택에 대응해 제스처와 음성으로 감정적 피드백을 제공하는 가상의 로봇 팔을 설계하였다.
• 세 가지 실험 조건을 구현하였다: (1) 감정적 음악적 억양과 제스처, (2) 단일 음정 음성과 제스처, (3) 제스처만(음성 없음).
• 수열 결정 과제를 수행하면서 46명의 참가자가 로봇과 상호작용하는 군 간 실험을 실시하였다.
• 행동 데이터(로봇의 제안에 동의하는 비율)를 수집하고, Godspeed 척도를 사용한 신뢰 설문조사를 실시하였다(신뢰, 지능, 안전성, 호감도).
• 신뢰 평가 및 행동 결과를 조건 간 비교하기 위해 일원 분산분석(one-way ANOVA)과 상관관계 분석을 사용하였다.

실험 결과

연구 질문

• RQ1 감정적 음악적 억양이 단일 음정 음성 또는 음성 없음 조건보다 로봇 팔에 대한 인식된 신뢰를 유의미하게 높이는가?
• RQ2 음악적 억양 사용이 로봇이 잘못된 제안을 한 후의 신뢰 회복에 도움이 되는가?
• RQ3 다른 음성 모odalities(음악적 억양, 단일 음정, 음성 없음)가 로봇의 지능, 안전성, 호감도 인식에 어떤 영향을 미치는가?
• RQ4 사용자들이 보고한 신뢰도와 실제 행동(로봇 제안에 대한 동의 여부) 간 상관관계가 있는가?
• RQ5 비언어적, 음악적 억양이 로봇 팔에서 감정적 소통을 효과적이고 간섭이 적은 방법으로 제공할 수 있는가?

주요 결과

• 참가자들은 음악적 억양 조건에서 단일 음정 및 음성 없음 조건보다 신뢰도를 유의미하게 더 높게 평가했다(p < 0.05).
• 세 조건 간 사용자가 로봇의 제안에 동의하는 비율에 유의미한 차이가 없었다(p = 0.68).
• 로봇 실수 후 신뢰 회복에 있어 조건 간 유의미한 차이가 없었다(p = 0.87), 이는 음성 모달리티가 실수 후 협업에 영향을 주지 않았음을 시사한다.
• 음악적 억양 조건은 중앙값 기준으로 신뢰, 지능, 호감도 평가에서 다른 두 조건보다 높은 점수를 기록했지만, 인격화 수준만 통계적으로 유의미한 차이를 보였다(p = 0.006).
• 음악적 억양 조건에 속한 참가자들은 일관되게 감정적 의도를 인식했으며, 정확성에 따라 '행복한' 또는 '슬픈' 반응이라고 평가하는 의견을 제시했다.
• 단일 음정 음성 조건은 모든 지표에서 제스처 전용 조건보다 열등한 성능을 보였으며, 설계가 잘못된 음성은 HRI 결과에 악영향을 줄 수 있음을 시사한다.