[논문 리뷰] Developing Social Robots with Empathetic Non-Verbal Cues Using Large Language Models

Yoon Kyung Lee, Yoonwon Jung외 2명|arXiv (Cornell University)|2023. 08. 31.

Social Robot Interaction and HRI인용 수 16

한 줄 요약

본 논문은 공감형 비언어 신호 네 가지(Speech, Action, Facial expression, Emotion)를 SAFE로 라벨링하고 LLM 기반 시스템을 사용해 인간 상담자가 정의한 사회적 신호와 생성 및 조정하여 더 맥락적이고 진정성 있는 사회 로봇 상호작용을 구현한다.

ABSTRACT

We propose augmenting the empathetic capacities of social robots by integrating non-verbal cues. Our primary contribution is the design and labeling of four types of empathetic non-verbal cues, abbreviated as SAFE: Speech, Action (gesture), Facial expression, and Emotion, in a social robot. These cues are generated using a Large Language Model (LLM). We developed an LLM-based conversational system for the robot and assessed its alignment with social cues as defined by human counselors. Preliminary results show distinct patterns in the robot's responses, such as a preference for calm and positive social emotions like 'joy' and 'lively', and frequent nodding gestures. Despite these tendencies, our approach has led to the development of a social robot capable of context-aware and more authentic interactions. Our work lays the groundwork for future studies on human-robot interactions, emphasizing the essential role of both verbal and non-verbal cues in creating social and empathetic robots.

연구 동기 및 목표

• 공감형 비언어 신호를 통해 사회 로봇의 향상을 촉진한다.
• 로봇의 동작을 안내하기 위해 네 가지 신호 유형(Speech, Action, Facial expression, Emotion)을 정의하고 라벨링한다.
• 인간 상담자 신호에 맞추어 작동하는 로봇용 LLM 기반 대화 시스템을 개발한다.
• 사회적 상호작용에서 생성된 신호의 정렬 및 효과를 평가한다.
• 언어적 및 비언어적 공감을 강조하는 향후 인간-로봇 상호작용 연구를 위한 기초를 마련한다.

제안 방법

• 사회 로봇을 위한 네 가지 공감형 비언어 신호(SAFE: Speech, Action, Facial expression, and Emotion)를 제안한다.
• 이 신호를 생성하고 제어하기 위한 LLM 기반 대화 시스템을 개발한다.
• 인간 상담자가 정의한 기준과 생성된 신호를 비교하여 신호의 정합성을 평가한다.
• 로봇의 반응 패턴을 분석하여 차분함/긍정적 정서, 고개 끄덕임 등의 경향을 식별한다.
• 통합된 언어적·비언어적 신호를 통해 맥락 인식이 높은 더 진정성 있는 상호작용을 입증한다.

실험 결과

연구 질문

• RQ1 LLM으로 생성된 비언어 신호를 인간 상담자가 정의한 사회적 신호와 어떻게 정렬하여 공감적 상호작용을 달성할 수 있는가?
• RQ2 SAFE 신호를 사용할 때 로봇 반응(감정, 제스처)의 관찰 가능한 패턴은 무엇인가?
• RQ3 통합된 SAFE 프레임워크가 더 맥락 인식적이고 진정성 있는 사회 로봇 상호작용을 가능하게 할 수 있는가?
• RQ4 사회 로봇에서 성공적인 공감형 비언어 신호 생성을 나타내는 품질 및 정합성 지표는 무엇인가?

주요 결과

• 예비 결과 로봇의 반응은 'joy'(기쁨)와 'lively'(활기찬)와 같은 차분하고 긍정적인 사회적 정서를 선호하는 경향을 보인다.
• 로봇의 비언어적 행동에서 고개 끄덕임 제스처가 자주 관찰되었다.
• 이 접근법은 인간과 사회 로봇 간의 맥락 인식적이고 더 진정성 있는 상호작용을 가능하게 한다.
• SAFE 신호는 로봇 공학에서 언어적 및 비언어적 공감을 체계적으로 통합하는 방법을 제공한다.
• 이 연구는 언어적 및 비언어적 채널을 통해 공감을 강조하는 인간-로봇 상호작용에 대한 향후 연구의 기초를 확립한다.