[論文レビュー] Emotional Musical Prosody for the Enhancement of Trust in Robotic Arm Communication

Richard Savery, Lisa Zahray+1 more|arXiv (Cornell University)|Sep 18, 2020

Social Robot Interaction and HRI参考文献 35被引用数 5

ひとこと要約

本研究では、感情的な音楽的プロソディ（言語的でない、メロディに基づく音声表現）が、ロボットアームとの対話における信頼を高めるかどうかを調査した。仮想のロボットアームは、感情的なジェスチャーと音声（音楽的プロソディ、単一周波数の音、または音声なし）で応答したが、参加者は音楽的プロソディ条件で著しく高い信頼を報告した。ただし、各群間で実際の意思決定行動に有意差は認められなかった。

ABSTRACT

As robotic arms become prevalent in industry it is crucial to improve levels of trust from human collaborators. Low levels of trust in human-robot interaction can reduce overall performance and prevent full robot utilization. We investigated the potential benefits of using emotional musical prosody to allow the robot to respond emotionally to the user's actions. We tested participants' responses to interacting with a virtual robot arm that acted as a decision agent, helping participants select the next number in a sequence. We compared results from three versions of the application in a between-group experiment, where the robot had different emotional reactions to the user's input depending on whether the user agreed with the robot and whether the user's choice was correct. In all versions, the robot reacted with emotional gestures. One version used prosody-based emotional audio phrases selected from our dataset of singer improvisations, the second version used audio consisting of a single pitch randomly assigned to each emotion, and the final version used no audio, only gestures. Our results showed no significant difference for the percentage of times users from each group agreed with the robot, and no difference between user's agreement with the robot after it made a mistake. However, participants also took a trust survey following the interaction, and we found that the reported trust ratings of the musical prosody group were significantly higher than both the single-pitch and no audio groups.

研究の動機と目的

• ロボットアームを用いた人間-ロボット対話において、感情的な音楽的プロソディが信頼を高められるかどうかを調査すること。
• 音楽的プロソディ、単一周波数音声、音声なしの3条件が信頼、好ましさ、知能の認識、安全性に与える影響を比較すること。
• 感情的な音声反応が、ロボットの誤り後の感情的信頼と信頼回復を改善するかどうかを評価すること。
• 視覚的または言語的ヒントの代替として、非言語的で音響的なコミュニケーションをロボットシステムに応用できるかを検討すること。
• 音楽的プロソディが、効果的に感情を伝える一方でアンビバレンスの谷を避けるかどうかを特定すること。

提案手法

• ロボットの応答用に、歌手の即興的アドリブを用いて感情的な音楽的プロソディを生成するためのカスタムデータセットを構築した。
• ユーザーの選択に応じてジェスチャーと音声で感情的なフィードバックを提供する仮想ロボットアームを設計した。
• 3つの実験条件を設定した：(1) 感情的な音楽的プロソディとジェスチャー、(2) 単一周波数音声とジェスチャー、(3) ジェスチャーのみ（音声なし）。
• 46名の参加者が関与した被験者間実験を実施し、番号列の意思決定タスクでロボットと対話させた。
• 行動データ（ロボットの提案に同意した割合）を収集し、Godspeed指標（信頼、知能、安全性、好ましさ）を用いた信頼度調査を実施した。
• 1要因分散分析（one-way ANOVA）と相関分析を用いて、条件間での信頼度評価と行動的結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 感情的な音楽的プロソディは、単一周波数音声や音声なしの条件と比較して、ロボットアームに対する認識上の信頼を有意に高めるか？
• RQ2 音楽的プロソディの使用は、ロボットが誤った提案をした後の信頼回復を改善するか？
• RQ3 異なる音声モodal（音楽的プロソディ、単一周波数、音声なし）は、ロボットの知能、安全性、好ましさの認識にどのように影響するか？
• RQ4 参加者が報告した信頼度と、タスクにおける実際の行動（ロボットの提案に同意する頻度）との間に相関があるか？
• RQ5 非言語的で音楽的プロソディは、ロボットアームにおける感情的コミュニケーションの効果的かつ不快でない方法として機能するか？

主な発見

• 参加者は、音楽的プロソディを使用したロボットアームに対して、単一周波数音声および音声なしの条件と比較して、著しく高い信頼を報告した（p < 0.05）。
• 3条件間で、ユーザーがロボットの提案に同意した割合に有意差は認められなかった（p = 0.68）。
• ロボットの誤り後の信頼回復に差は認められず、各群間で有意差はなかった（p = 0.87）。これは、音声モダリティが誤り後の協力行動に影響を与えないことを示している。
• 音楽的プロソディ条件は、中央値の信頼、知能、好ましさの指標で他の2条件よりも高く評価されたが、文化的な人間化（anthropomorphism）のみが統計的に有意であった（p = 0.006）。
• プロソディ群の参加者は一貫して感情的意図を認識しており、反応が「嬉しい」または「悲しんだ」ように感じられるとのコメントが多かった。
• 単一周波数音声条件は、ジェスチャーのみの条件と比較して、すべての指標で劣っていた。これは、設計が不適切な音声がHRIの結果を損なう可能性があることを示唆している。