[論文レビュー] Empathy Through Multimodality in Conversational Interfaces

Mahyar Abbasian, Iman Azimi+3 more|arXiv (Cornell University)|May 8, 2024

Language, Metaphor, and CognitionPsychology被引用数 3

ひとこと要約

本稿では、大規模言語モデル（LLM）を活用したマルチモーダルな会話型健康アシスタント（CHA）を提案する。このCHAは、音声感情認識とテキストベースの対話処理を統合し、文脈に即した共感的な反応を提供することで、メンタルヘルス支援における共感的で文脈に配慮した応答を実現する。音声認識、感情検出、Web検索を統合したopenCHAフレームワークを活用することで、感情認識の正確性は89％に達し、特に悲しみを表現するユーザーに対しては非常に共感的な反応を生成する。人間の評価者による評価では、平均的な共感度が10点満点で7.24点を記録した。

ABSTRACT

Agents represent one of the most emerging applications of Large Language Models (LLMs) and Generative AI, with their effectiveness hinging on multimodal capabilities to navigate complex user environments. Conversational Health Agents (CHAs), a prime example of this, are redefining healthcare by offering nuanced support that transcends textual analysis to incorporate emotional intelligence. This paper introduces an LLM-based CHA engineered for rich, multimodal dialogue-especially in the realm of mental health support. It adeptly interprets and responds to users' emotional states by analyzing multimodal cues, thus delivering contextually aware and empathetically resonant verbal responses. Our implementation leverages the versatile openCHA framework, and our comprehensive evaluation involves neutral prompts expressed in diverse emotional tones: sadness, anger, and joy. We evaluate the consistency and repeatability of the planning capability of the proposed CHA. Furthermore, human evaluators critique the CHA's empathic delivery, with findings revealing a striking concordance between the CHA's outputs and evaluators' assessments. These results affirm the indispensable role of vocal (soon multimodal) emotion recognition in strengthening the empathetic connection built by CHAs, cementing their place at the forefront of interactive, compassionate digital health solutions.

研究の動機と目的

• 会話型健康アシスタント（CHA）を構築し、音声とテキストからの感情的サインを解釈して、メンタルヘルス支援において共感的で文脈に配慮した応答を提供すること。
• テキスト中心のLLMベースのアシスタントに見られる限界を補うために、声の感情や生理的信号を含むマルチモーダル入力を統合し、デジタル対話における感情知能を向上させること。
• 人間の評価者を用いて、悲しみ、怒り、喜びといった多様な感情状態におけるCHAの応答の一貫性と共感的質を評価すること。
• 感情に基づく計画立案が、会話型AIにおける応答の関連性と共感性を向上させることを実証すること。
• 将来的なCHAが顔貌や生理的モダリティを統合することで、人間と同等の共感的対話が可能になる基盤を築くこと。

提案手法

• CHAは、LLMに音声認識、感情検出、インターネット検索、音声合成モジュールを統合したopenCHAフレームワークに基づいて構築されている。
• 声の入力から専用の音声感情認識モデルを用いて感情状態を検出し、計画フェーズに情報を提供する。
• プランナーはユーザーのクエリと検出された感情を組み合わせて、応答のパーソナライズを向上させるためのターゲット検索クエリを生成する。
• LLMは取得した情報と感情的文脈を用いて応答を生成し、共感的なトーンとユーザーの感情に一致した内容を保証する。
• 検索が行われない場合でも、検出された感情を応答生成者に引き渡すことで、会話全体にわたる感情的文脈を維持する。
• 評価は2段階に分けられる：計画の正確性の評価と、10段階スケールでの人間による共感的応答品質の測定。

Figure 1: LLM-based CHA for multimodal speech-based emotional support

実験結果

リサーチクエスチョン

• RQ1 LLMベースのCHAは、音声からの感情状態を正確に検出し、それらを応答生成の指針に活用できるか？
• RQ2 音声感情認識の統合が、会話応答の共感性と文脈的関連性をどのように向上させるか？
• RQ3 ユーザーが悲しみ、怒り、喜びを表現する際、応答の共感的質はどのように変化するか？
• RQ4 感情に基づく計画立案は、CHAの応答の一貫性とパーソナライズ性をどの程度向上させるか？
• RQ5 音声＋テキストのマルチモーダル入力は、メンタルヘルス文脈におけるLLMベースのアシスタントの共感的機能を顕著に向上させ得るか？

主な発見

• CHAは音声入力からの感情状態検出において89％の正確性を達成し、マルチモーダルな感情認識において優れた性能を示した。
• プランナーは感情的文脈に基づいてインターネット検索ツールを正しく起動できた割合が61％であり、感情が計画に効果的に統合されていることが示された。
• 人間の評価者は、悲しみを表現するクエリに対して最も共感的な応答と評価し、平均スコアは10点満点で7.24点であった。
• 喜びや怒りのクエリに対する応答は、それぞれ平均6.24点および6.56点の共感度スコアを記録し、低いが依然として妥当な一致を示した。
• 評価者は、感情が正しく認識され適切に活用された場合、応答がより一貫性があり共感的であると指摘した。
• これらの結果は、音声ベースの感情認識を統合することで、メンタルヘルス応用におけるLLM駆動の会話型アシスタントの共感的質が顕著に向上することを裏付けた。

Figure 2: Examples of developed CHA answering a user voice query with Sad (a) and Happy (b) emotions