[論文レビュー] Developing Social Robots with Empathetic Non-Verbal Cues Using Large Language Models

Yoon Kyung Lee, Yoonwon Jung+2 more|arXiv (Cornell University)|Aug 31, 2023

Social Robot Interaction and HRI被引用数 16

ひとこと要約

本論文は4つの共感的非言語キュー（Speech, Action, Facial expression, Emotion）をSAFEとラベル付けで設計し、人間のカウンセラーが定義する社会的キューと整合させるために、生成と適合を行うLLMベースのシステムを用いて、より文脈に適応した、より本格的なソーシャルロボットの対話を実現する。

ABSTRACT

We propose augmenting the empathetic capacities of social robots by integrating non-verbal cues. Our primary contribution is the design and labeling of four types of empathetic non-verbal cues, abbreviated as SAFE: Speech, Action (gesture), Facial expression, and Emotion, in a social robot. These cues are generated using a Large Language Model (LLM). We developed an LLM-based conversational system for the robot and assessed its alignment with social cues as defined by human counselors. Preliminary results show distinct patterns in the robot's responses, such as a preference for calm and positive social emotions like 'joy' and 'lively', and frequent nodding gestures. Despite these tendencies, our approach has led to the development of a social robot capable of context-aware and more authentic interactions. Our work lays the groundwork for future studies on human-robot interactions, emphasizing the essential role of both verbal and non-verbal cues in creating social and empathetic robots.

研究の動機と目的

• 共感的非言語キューを通じたソーシャルロボットの向上を動機づける。
• ロボットの挙動を導くために、4つのキュータイプ（Speech, Action, Facial expression, Emotion）を定義し、ラベルを付ける。
• 人間のカウンセラーのキューに整合するロボット用のLLMベースの対話システムを開発する。
• 社会的相互作用における生成キューの整合性と有効性を評価する。
• 言語的・非言語的共感を強調する将来のヒューマン-ロボット相互作用研究の基盤を築く。

提案手法

• ソーシャルロボット向けの4つの共感的非言語キュー（SAFE）を提案する：Speech, Action, Facial expression, and Emotion。
• これらのキューを生成・制御するLLMベースの対話システムを開発する。
• 人間のカウンセラーが定義した基準と生成されたキューを比較して、キューの整合性を評価する。
• 落ち着いた/肯定的感情やうなずきジェスチャーなどの傾向を特定するために、ロボットの応答パターンを分析する。
• 統合された言語的・非言語的キューを通じて、文脈認識が高く、より本物らしい対話を実証する。

実験結果

リサーチクエスチョン

• RQ1 LLMで生成された非言語キューを、人間のカウンセラーが定義した社会的キューとどのように整合させて、共感的な対話を実現できるか？
• RQ2 SAFEキューを使用した場合の、ロボットの応答（感情、ジェスチャー）の観察可能なパターンは何か？
• RQ3 統合されたSAFEフレームワークは、より文脈認識が高く、真のソーシャルロボット対話を可能にするか？
• RQ4 ソーシャルロボットにおける共感的非言語キュー生成の成功を示す品質・整合性指標は何か？

主な発見

• 予備的な結果は、ロボットの応答が「joy（喜び）」や「lively（活気ある）」など、落ち着いた・肯定的な社会的感情を好む傾向を示している。
• ロボットの非言語的挙動において、頻繁な頷きジェスチャーが観察された。
• このアプローチは、人間とソーシャルロボットとの間で文脈認識が高く、より本物らしい対話を実現する。
• The SAFE cues, generated from an LLM, provide a structured way to integrate verbal and non-verbal empathy in robotics.
• The work establishes a foundation for future studies on human-robot interaction emphasizing empathy through both verbal and non-verbal channels.