[論文レビュー] FurChat: An Embodied Conversational Agent using LLMs, Combining Open and Closed-Domain Dialogue with Facial Expressions

Neeraj Cherakara, Finny S. Varghese+10 more|arXiv (Cornell University)|Aug 29, 2023

Social Robot Interaction and HRIPsychology被引用数 3

ひとこと要約

FurChat は、GPT-3.5 をベースにした身体的会話エージェントであり、Furhat ロボット上で文脈に配慮した顔の表情を統合したオープンドメインおよびクローズドドメインの会話機能を備え、ナショナルロボットリアムでの受付として自然で魅力的な対話を可能にしている。このシステムは、LLM が出力する応答と感情表現の整合性を図るためにプロンプト工学を活用し、マルチモーダルな出力を通じて対話の没入感を向上させている。

ABSTRACT

We demonstrate an embodied conversational agent that can function as a receptionist and generate a mixture of open and closed-domain dialogue along with facial expressions, by using a large language model (LLM) to develop an engaging conversation. We deployed the system onto a Furhat robot, which is highly expressive and capable of using both verbal and nonverbal cues during interaction. The system was designed specifically for the National Robotarium to interact with visitors through natural conversations, providing them with information about the facilities, research, news, upcoming events, etc. The system utilises the state-of-the-art GPT-3.5 model to generate such information along with domain-general conversations and facial expressions based on prompt engineering.

研究の動機と目的

• オープンドメインおよびクローズドドメインの会話を自然で人間らしい方法で対応できる身体的会話エージェントの開発を目的とする。
• LLM が出力する応答と表現豊かな顔の動きを統合することで、感情的な関与と社会的存在感を高めることを目的とする。
• 公共の研究施設での実際の対話環境において、Furhat ロボットにこのシステムをデプロイすることを目的とする。
• LLM の生成応答における誤り（ホールーシネーション）を、キュレートされたデータベースとプロンプト工学によって是正することを目的とする。
• ルールベースのシステムを超えた、マルチモーダルで社会知能的なロボット対話に LLM を活用する可能性を実証することを目的とする。

提案手法

• システムは、文脈、性格、会話履歴、応答形式（絵文字の手がかりを含む）を提示することで、GPT-3.5 をコアとなる自然言語生成エンジンとして使用する。
• 閉域応答の根拠を確保し、ホールーシネーションを低減するために、国立ロボットリアムに関する事実（例：施設の概要など）を収集したカスタムデータベースを活用する。
• 会話マネージャーは、FurhatOS の NLU を介した意図分類の後、ユーザー入力を LLM にルーティングし、生成された応答を事前に定義された顔の動きにマッピングする。
• 感情検出と文脈に基づいた感情の分析結果に応じて、条件分岐論理を用いて顔の表情をトリガーする。
• 音声出力は、FurhatOS を介して統合された Amazon Polly が担当し、顔の動きと同期した自然な発声を実現する。
• 一貫性のあるマルチモーダル出力を得るために、プロンプト工学を活用し、性格、感情のトーン、表情のルールを直接 LLM のプロンプトに埋め込む。

Figure 1: A user interacting with the FurChat System.

実験結果

リサーチクエスチョン

• RQ1 LLM を活用した会話エージェントは、実際の受付環境において、オープンドメインとクローズドドメインの会話を効果的に融合させることができるか？
• RQ2 顔の表情をどのように体系的に生成・音声と同期させれば、社会的存在感の向上に寄与するのか？
• RQ3 プロンプト工学とキュレートされた知識ベースを用いることで、LLM に依存する身体的エージェントにおけるホールーシネーションはどの程度低減できるか？
• RQ4 1 つの LLM ベースのシステムが、事実に関する質疑応答からカジュアルな会話まで、多様な対話タイプを一貫して維持できるか？
• RQ5 音声と顔の表情といったマルチモーダルな手がかりの統合は、ユーザーが社会的ロボットの自然さと信頼性をどのように感じさせるか？

主な発見

• FurChat システムは、訪問者との自然で流れの良い会話が可能となるオープンドメインおよびクローズドドメインの会話の融合を成功裏に実現した。
• 顔の表情が音声および感情的文脈と効果的に同期され、表現力の向上と社会的関与の強化が図られた。
• キュレートされたデータベースの活用により、クローズドドメインの応答における誤った内容の発生が顕著に減少し、事実の信頼性が向上した。
• プロンプト工学により、一貫性のある性格表現と感情の整合性が実現され、文脈にふさわしい応答が得られた。
• ナショナルロボットリアムでの実運用において、多様な訪問者からの質問に最小限の障害で対応できる、堅牢な性能を示した。
• GPT-3.5 と Furhat SDK の統合により、ルールベースのシステムを超えたスケーラブルで拡張可能なマルチモーダルな身体的会話のフレームワークが実現された。

Figure 2: System Architecture of the current FurChat system.