[논문 리뷰] FurChat: An Embodied Conversational Agent using LLMs, Combining Open and Closed-Domain Dialogue with Facial Expressions

Neeraj Cherakara, Finny S. Varghese외 10명|arXiv (Cornell University)|2023. 08. 29.

Social Robot Interaction and HRIPsychology인용 수 3

한 줄 요약

FurChat는 GPT-3.5를 기반으로 한 신체적 대화 에이전트로, National Robotarium에서 수동으로 근무하는 수용자로서 자연스럽고 유쾌한 상호작용을 가능하게 하기 위해 개방형 및 폐쇄형 대화를 통합하고, 상황 인식 기반의 얼굴 표정을 구현한 Furhat 로봇에 구현되었다. 이 시스템은 LLM이 생성한 응답과 정서적 표정, 대화 흐름을 일치시키기 위해 프롬프트 엔지니어링을 활용하여 다중모달 출력을 통해 참여도를 향상시켰다.

ABSTRACT

We demonstrate an embodied conversational agent that can function as a receptionist and generate a mixture of open and closed-domain dialogue along with facial expressions, by using a large language model (LLM) to develop an engaging conversation. We deployed the system onto a Furhat robot, which is highly expressive and capable of using both verbal and nonverbal cues during interaction. The system was designed specifically for the National Robotarium to interact with visitors through natural conversations, providing them with information about the facilities, research, news, upcoming events, etc. The system utilises the state-of-the-art GPT-3.5 model to generate such information along with domain-general conversations and facial expressions based on prompt engineering.

연구 동기 및 목표

• 개방형 및 폐쇄형 대화를 자연스럽고 인간처럼 구현할 수 있는 신체적 대화 에이전트를 개발한다.
• LLM이 생성한 응답과 함께 정서적 표현을 통합하여 정서적 참여도와 사회적 존재감을 향상시킨다.
• 실제 공공 연구 시설 환경에서의 상호작용을 위해 시스템을 Furhat 로봇에 구현한다.
• 정제된 데이터베이스와 프롬프트 엔지니어링을 통해 LLM 응답의 환각 현상을 완화한다.
• 규칙 기반 시스템을 초월하여 LLM을 활용한 다중모달, 사회지능형 로봇 상호작용의 실현 가능성을 입증한다.

제안 방법

• 시스템은 GPT-3.5를 핵심 자연어 생성 엔진으로 사용하며, 맥락, 성격, 대화 이력, 표정 기호 포함된 응답 형식을 프롬프트로 제공한다.
• National Robotarium와 관련된 사실을 확인한 전용 데이터베이스를 활용하여 폐쇄형 응답의 근거를 제공하고 환각 현상을 줄인다.
• 대화 매니저는 FurhatOS의 NLU를 통해 의도 분류를 수행한 후, LLM에 입력을 전달하고, 생성된 응답을 사전 정의된 표정 동작으로 매핑한다.
• 감정 및 정서 감지 결과를 기반으로 조건부 논리에 따라 감정 상태에 따라 얼굴 표정을 트리거한다.
• 음성 합성은 FurhatOS를 통해 통합된 Amazon Polly를 사용하여 자연스러운 음성 출력을 얼굴 표정과 동기화한다.
• 프롬프트 엔지니어링을 통해 성격, 정서적 톤, 표정 규칙를 직접 LLM 프롬프트에 통합하여 일관된 다중모달 출력을 달성한다.

Figure 1: A user interacting with the FurChat System.

실험 결과

연구 질문

• RQ1 LLM 기반 대화 에이전트는 실제 수용자 환경에서 개방형 및 폐쇄형 대화를 효과적으로 융합할 수 있는가?
• RQ2 얼굴 표정은 어떻게 체계적으로 생성하고 LLM이 생성한 음성과 동기화하여 사회적 존재감을 향상시킬 수 있는가?
• RQ3 프롬프트 엔지니어링과 정제된 지식 기반 데이터베이스를 통해 LLM 기반 신체적 에이전트의 환각 현상은 어느 정도 감소시킬 수 있는가?
• RQ4 단일 LLM 기반 시스템은 사실 질문-답변에서부터 일상 대화에 이르기까지 다양한 상호작용 유형을 유지하면서도 일관성과 참여도를 확보할 수 있는가?
• RQ5 다중모달 신호(음성, 얼굴 표정)의 통합은 사용자가 사회적 로봇의 자연스러움과 신뢰도를 어떻게 인식하게 하는가?

주요 결과

• FurChat 시스템은 방문자와 자연스럽고 흐름 잃지 않는 대화를 가능하게 하여 개방형 및 폐쇄형 대화의 원활한 혼합을 성공적으로 지원했다.
• 표정은 음성과 감정 맥락에 효과적으로 동기화되어 표현력과 사회적 참여도를 향상시켰다.
• 정제된 데이터베이스의 사용은 폐쇄형 응답에서의 환각 내용을 크게 줄여 사실적 정확도를 향상시켰다.
• 프롬프트 엔지니어링을 통해 일관된 성격 표현과 정서 일치가 가능해져 일관되고 맥락에 부합하는 응답이 가능했다.
• National Robotarium에서의 실시간 구현에서 뛰어난 성능을 보였으며, 다양한 방문자 질문에 대해 최소한의 실패율로 대응했다.
• GPT-3.5와 Furhat SDK의 통합을 통해 규칙 기반 시스템을 초월한 확장성 있고 유연한 다중모달, 신체적 대화 프레임워크를 제공했다.

Figure 2: System Architecture of the current FurChat system.