[논문 리뷰] Empathy Through Multimodality in Conversational Interfaces

Mahyar Abbasian, Iman Azimi외 3명|arXiv (Cornell University)|2024. 05. 08.

Language, Metaphor, and CognitionPsychology인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 기반으로 하는 다중모달 대화형 건강 보조자(Conversational Health Agent, CHA)를 제안한다. 이 CHA는 음성 정서 인식과 텍스트 기반 대화를 통합하여 정서적 맥락을 고려한 공감적인 응답을 정신 건강 지원 분야에서 제공한다. 음성-텍스트 변환, 정서 감지, 웹 검색을 포함한 openCHA 프레임워크를 활용함으로써, CHA는 정서 인식 정확도 89%를 달성하고, 특히 슬픔을 표현하는 사용자에게 높은 공감 능력을 보이는 응답을 생성한다. 인간 평가자들이 평가한 결과, 평균 공감도는 10점 만점에 7.24점으로 확인되었다.

ABSTRACT

Agents represent one of the most emerging applications of Large Language Models (LLMs) and Generative AI, with their effectiveness hinging on multimodal capabilities to navigate complex user environments. Conversational Health Agents (CHAs), a prime example of this, are redefining healthcare by offering nuanced support that transcends textual analysis to incorporate emotional intelligence. This paper introduces an LLM-based CHA engineered for rich, multimodal dialogue-especially in the realm of mental health support. It adeptly interprets and responds to users' emotional states by analyzing multimodal cues, thus delivering contextually aware and empathetically resonant verbal responses. Our implementation leverages the versatile openCHA framework, and our comprehensive evaluation involves neutral prompts expressed in diverse emotional tones: sadness, anger, and joy. We evaluate the consistency and repeatability of the planning capability of the proposed CHA. Furthermore, human evaluators critique the CHA's empathic delivery, with findings revealing a striking concordance between the CHA's outputs and evaluators' assessments. These results affirm the indispensable role of vocal (soon multimodal) emotion recognition in strengthening the empathetic connection built by CHAs, cementing their place at the forefront of interactive, compassionate digital health solutions.

연구 동기 및 목표

• 사용자의 음성과 텍스트에서 정서적 신호를 해석하여 정신 건강 지원 분야에서 정서적 맥락을 반영한 공감적인 응답을 제공할 수 있는 대화형 건강 보조자(CHA)를 개발하는 것.
• 텍스트 중심의 LLM 기반 보조자에서의 한계를 보완하기 위해 음성 정서 및 생리적 신호와 같은 다중모달 입력을 통합하여 디지털 상호작용에서 정서 지능을 향상시키는 것.
• 다양한 정서 상태—슬픔, 분노, 기쁨—에서 CHA의 응답 일관성과 공감 능력을 인간 평가자들을 통해 평가하는 것.
• 정서 기반 계획 수립이 대화형 AI에서 생성된 응답의 관련성과 공감 능력을 향상시키는지 입증하는 것.
• 미래의 CHA가 얼굴 및 생리적 모달리티를 통합하여 인간 수준의 공감적 상호작용를 달성할 수 있는 기반을 마련하는 것.

제안 방법

• CHA는 음성-텍스트 변환, 음성 정서 감지, 인터넷 검색, 텍스트-음성 변환 모듈을 통합한 openCHA 프레임워크를 기반으로 구축된다.
• 사용자 음성 입력에서 전용 음성 정서 인식 모델을 사용해 정서 상태를 감지하고, 이를 계획 단계에 활용한다.
• 플래너는 사용자 질의와 감지된 정서를 모두 활용해 타겟팅된 검색 질의를 생성함으로써 응답의 개인화를 향상시킨다.
• LLM은 확보한 정보와 정서적 맥락을 사용해 응답을 생성하며, 이로 인해 공감 어조와 사용자 정서에 부합하는 응답이 보장된다.
• 검색이 사용되지 않은 경우에도 감지된 정서를 응답 생성기로 전달함으로써 대화 전체 동안 정서 맥락을 유지한다.
• 평가 과정은 두 단계로 나뉘며, 계획 정확도 평가와 인간 평가를 통해 0–10점 척도로 공감 응답 품질을 측정한다.

Figure 1: LLM-based CHA for multimodal speech-based emotional support

실험 결과

연구 질문

• RQ1 LLM 기반 CHA는 음성에서 정서 상태를 정확히 감지하고, 이를 응답 생성에 활용할 수 있는가?
• RQ2 음성 정서 인식의 통합이 대화 응답의 공감도와 맥락 적합성을 어떻게 향상시키는가?
• RQ3 사용자가 슬픔, 분노, 기쁨을 표현할 경우 응답의 공감 능력은 어떻게 달라지는가?
• RQ4 정서 기반 계획 수립이 CHA 응답의 일관성과 개인화에 얼마나 기여하는가?
• RQ5 음성 + 텍스트의 다중모달 입력이 정신 건강 분야에서 LLM 기반 보조자의 공감 능력을 상당히 향상시킬 수 있는가?

주요 결과

• CHA는 음성 입력에서 정서 상태를 감지하는 데 89%의 정확도를 기록하여 다중모달 정서 인식에서 뛰어난 성능을 입증했다.
• 플래너는 정서 맥락에 따라 인터넷 검색 도구를 정확히 활성화했으며, 정확도는 61%로 정서를 계획에 효과적으로 통합한 것으로 나타났다.
• 인간 평가자들은 슬픔을 표현한 질문에 대한 응답이 가장 공감적으로 평가했으며, 평균 점수는 10점 만점에 7.24점이었다.
• 기쁨과 분노를 표현한 질문에 대한 응답은 평균 공감 점수 각각 6.24점과 6.56점으로, 낮지만 여전히 합리적인 일치를 보였다.
• 시스템은 상호작용 전반에 걸쳐 정서 맥락을 일관되게 유지했으며, 평가자들은 정서가 정확히 인식되고 활용된 경우 응답이 더 부합하고 공감적으로 느껴졌다고 지적했다.
• 결과적으로, 음성 기반 정서 인식의 통합이 LLM 기반 대화형 보조자가 정신 건강 응용 분야에서 공감 능력을 크게 향상시킨다는 것이 확인되었다.

Figure 2: Examples of developed CHA answering a user voice query with Sad (a) and Happy (b) emotions