[论文解读] Empathy Through Multimodality in Conversational Interfaces

Mahyar Abbasian, Iman Azimi+3 more|arXiv (Cornell University)|May 8, 2024

Language, Metaphor, and CognitionPsychology被引用 3

一句话总结

本文提出了一种基于大型语言模型（LLMs）的多模态对话健康助手（CHA），通过整合语音情绪识别与基于文本的对话，实现情境感知、富有同理心的回应，以支持心理健康。该CHA基于openCHA框架，结合语音转文字、情绪检测与网络搜索功能，实现了89%的情绪识别准确率，并生成高度富有同理心的回应，尤其在用户表达悲伤时表现更佳，经人类评估者评分，平均同理心得分为7.24/10。

ABSTRACT

Agents represent one of the most emerging applications of Large Language Models (LLMs) and Generative AI, with their effectiveness hinging on multimodal capabilities to navigate complex user environments. Conversational Health Agents (CHAs), a prime example of this, are redefining healthcare by offering nuanced support that transcends textual analysis to incorporate emotional intelligence. This paper introduces an LLM-based CHA engineered for rich, multimodal dialogue-especially in the realm of mental health support. It adeptly interprets and responds to users' emotional states by analyzing multimodal cues, thus delivering contextually aware and empathetically resonant verbal responses. Our implementation leverages the versatile openCHA framework, and our comprehensive evaluation involves neutral prompts expressed in diverse emotional tones: sadness, anger, and joy. We evaluate the consistency and repeatability of the planning capability of the proposed CHA. Furthermore, human evaluators critique the CHA's empathic delivery, with findings revealing a striking concordance between the CHA's outputs and evaluators' assessments. These results affirm the indispensable role of vocal (soon multimodal) emotion recognition in strengthening the empathetic connection built by CHAs, cementing their place at the forefront of interactive, compassionate digital health solutions.

研究动机与目标

• 开发一种对话健康助手（CHA），能够从语音和文本中识别情绪线索，为心理健康支持提供富有同理心、情境感知的回应。
• 通过整合语音情绪与生理信号等多模态输入，克服纯文本LLM驱动助手的局限性，提升数字交互中的情绪智能。
• 通过人类评估者，评估CHA在不同情绪状态（悲伤、愤怒、喜悦）下回应的一致性与同理心质量。
• 证明情绪感知的规划机制可提升对话AI生成回应的相关性与同理心。
• 为未来集成面部表情与生理模态的CHA奠定基础，以实现类人般的同理心互动。

提出的方法

• CHA基于openCHA框架构建，整合了LLM、语音转文字、语音情绪识别、网络搜索与文字转语音模块。
• 通过专用的语音情绪识别模型从语音输入中检测情绪状态，该结果用于指导规划阶段。
• 规划器结合用户查询与检测到的情绪，生成有针对性的搜索查询，提升回应的个性化程度。
• LLM利用检索到的信息与情绪上下文生成回应，确保语气富有同理心并契合用户情绪。
• 即使未使用搜索功能，系统也通过将检测到的情绪传递给回应生成器，持续维护对话中的情绪上下文。
• 评估分为两个阶段：评估规划的准确性，并通过人类评估在0–10分制下测量回应的同理心质量。

Figure 1: LLM-based CHA for multimodal speech-based emotional support

实验结果

研究问题

• RQ1 基于LLM的CHA能否准确从语音中检测情绪状态，并利用这些情绪信息指导回应生成？
• RQ2 整合语音情绪识别如何提升对话回应的同理心与情境相关性？
• RQ3 当用户表达悲伤、愤怒或喜悦时，回应的同理心质量有何差异？
• RQ4 情绪感知的规划在多大程度上提升了CHA回应的一致性与个性化程度？
• RQ5 多模态输入（语音+文本）是否能显著提升LLM驱动助手在心理健康场景下的同理心能力？

主要发现

• CHA在从语音输入中检测情绪状态方面达到了89%的准确率，展现出在多模态情绪识别方面的强劲表现。
• 规划器基于情绪上下文正确调用网络搜索工具的准确率为61%，表明情绪信息已有效融入规划流程。
• 人类评估者对用户以悲伤情绪提问时的回应评分最高，平均同理心得分为7.24/10。
• 针对喜悦与愤怒情绪的提问，回应的平均同理心得分分别为6.24与6.56，虽较低但仍具合理一致性。
• 系统在交互过程中持续保持情绪上下文，评估者指出当情绪被正确识别并有效利用时，回应更具一致性与同理心。
• 结果证实，整合基于语音的情绪识别可显著提升LLM驱动对话助手在心理健康应用中的同理心质量。

Figure 2: Examples of developed CHA answering a user voice query with Sad (a) and Happy (b) emotions