[논문 리뷰] Harnessing Large Language Models' Empathetic Response Generation Capabilities for Online Mental Health Counselling Support

Siyuan Brandon Loh, Aravind Sesagiri Raamkumar|arXiv (Cornell University)|2023. 10. 12.

Mental Health via Writing인용 수 4

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)과 공감적 대화 시스템(Empathetic Conversational Systems, ECS)이 온라인 정신건강 상담에서 공감적 반응을 생성하는 데 있어 어떻게 작용하는지 평가한다. EmpatheticDialogues 데이터셋의 프롬프트를 사용하여, LLMs는 공감 메트릭에서 ECS 모델과 인간 기반 기준을 모두 앞서며, 즉각적인 입력을 넘어서 감정 주제를 탐색하는 데 특히 뛰어나다. 이는 LLMs가 최소한의 파인튜닝으로도 확장 가능하고 공감적인 정신건강 지원을 제공할 수 있음을 시사한다.

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable performance across various information-seeking and reasoning tasks. These computational systems drive state-of-the-art dialogue systems, such as ChatGPT and Bard. They also carry substantial promise in meeting the growing demands of mental health care, albeit relatively unexplored. As such, this study sought to examine LLMs' capability to generate empathetic responses in conversations that emulate those in a mental health counselling setting. We selected five LLMs: version 3.5 and version 4 of the Generative Pre-training (GPT), Vicuna FastChat-T5, Pathways Language Model (PaLM) version 2, and Falcon-7B-Instruct. Based on a simple instructional prompt, these models responded to utterances derived from the EmpatheticDialogues (ED) dataset. Using three empathy-related metrics, we compared their responses to those from traditional response generation dialogue systems, which were fine-tuned on the ED dataset, along with human-generated responses. Notably, we discovered that responses from the LLMs were remarkably more empathetic in most scenarios. We position our findings in light of catapulting advancements in creating empathetic conversational systems.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 시뮬레이션된 온라인 정신건강 상담 환경에서 공감적 반응 생성 능력을 평가하기 위해.
• 표준화된 공감 메트릭을 사용해 LLMs를 기존의 공감적 대화 시스템(Empathetic Conversational Systems, ECS)과 인간이 생성한 반응과 비교하기 위해.
• 특정 작업에 맞게 파인튜닝되지 않은 사전 훈련된 LLMs가 파인튜닝된 ECS 모델보다 더 공감적인 반응을 생성할 수 있는지 조사하기 위해.
• 모델 아키텍처와 프롬프트 설계가 정신건강 관련 대화 생성에서 공감에 미치는 영향을 평가하기 위해.
• 데이터 집약적인 ECS에 대한 저자원, 확장 가능한 대체 방법으로서 LLMs의 잠재력을 탐색하기 위해.

제안 방법

• 다섯 개의 LLMs가 평가되었으며, GPT-3.5, GPT-4, Vicuna FastChat-T5, PaLM 2, 그리고 Falcon-7B-Instruct이다. 이들은 EmpatheticDialogues(ED) 데이터셋의 발언에 간단한 지시어를 사용해 응답하도록 프롬프트되었다.
• 응답은 세 가지 자동 공감 메트릭을 사용해 평가되었다: 해석(감정 내용 이해), 정서 반응(공감 어조), 탐색(즉각적인 입력을 넘어서는 확장).
• 기준 응답은 원래 ED 데이터셋에서 유래되었으며, 사전 훈련되지 않은 인간이 생성한 대화 전환을 나타낸다.
• 평가 프레임워크는 LLMs, ECS 모델(ED에서 파인튜닝된 모델), 그리고 인간 응답을 긍정적 및 부정적 정서 맥락에서 비교하였다.
• 통계 분석을 통해 모델 유형과 정서 조건 간의 공감 점수 차이의 유의성을 평가하였다.
• 주요 방법론적 선택은 파인튜닝 없이 사전 훈련된 LLMs에 제로샷 프롬프트를 사용하여, 공감에 대한 인덕티브 바이어스를 테스트하는 데 중점을 두었다.

Figure 1: Average proportion of responses in each model type with empathetic features. Scores are grouped by sentiment. Top panel: Emotional Reaction. Middle panel: interpretation. Bottom panel: Exploration

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models, LLMs)은 정신건강 상담 시뮬레이션에서 파인튜닝된 공감적 대화 시스템(Empathetic Conversational Systems, ECS)보다 더 공감적인 반응을 생성할 수 있는가?
• RQ2 LLMs는 EmpatheticDialogues 데이터셋에서 유래한 인간 기반 반응과 비교해 공감 메트릭(감정 이해 및 반응 탐색 등) 측면에서 어떻게 성과를 내는가?
• RQ3 사용자의 입력 정서(긍정 대비 부정)는 LLMs와 ECS 모델의 공감 성능에 영향을 미치는가?
• RQ4 LLMs와 기준 모델 간의 공감 생성에 유의미한 차이가 있는가, 특히 즉각적인 입력을 넘어서 감정 주제를 탐색하는 데서는?
• RQ5 사전 훈련된 LLMs가 최소한의 프롬프트로도 높은 공감 점수를 달성할 수 있는가? 이는 저자원, 확장 가능한 정신건강 챗봇 구현의 잠재력을 시사하는가?

주요 결과

• LLMs는 탐색 메트릭(즉각적인 입력을 넘어서는 반응 깊이 측정)에서 특히 두드러지게 ECS 모델과 인간 기준을 압도하며 공감 반응 생성 능력을 뛰어나게 보였다.
• LLMs와 부정적 정서 프롬프트 간의 상호작용은 통계적으로 유의미했다(odds ratio: 1.32, p < 0.05), 이는 LLMs가 부정적 맥락에서 감정 주제를 더 많이 탐색할 가능성이 높다는 것을 시사한다.
• 긍정적 정서에 대해서는 해석 메트릭에서 LLMs가 더 강한 성능을 보였지만, 부정적 정서에 대해서는 성능이 다소 떨어져 고통을 다루는 데 잠재적 격차가 있음을 시사한다.
• ED 데이터셋에서 유래한 인간 기반 응답은 전반적으로 가장 열등했으며, 특히 정서 반응과 탐색에서 열등하여 원본 ED 데이터의 품질 문제와 기존 데이터의 한계를 드러냈다.
• 파인튜닝 없이도 LLMs가 높은 공감 점수를 달성했으며, 이는 사전 훈련된 모델이 광범위한 훈련 과정을 통해 이미 풍부한 공감적 추론 능력을 내재하고 있음을 시사한다.
• 이 연구에서는 GPT-3.5와 GPT-4가 다른 LLMs보다 뛰어난 공감 능력을 보였지만, 모델 간 성능은 다양했으며, 이는 같은 아키텍처 계열 내에서도 모델 특화된 능력이 있음을 시사한다.