[논문 리뷰] Building Emotional Support Chatbots in the Era of LLMs

Zhonghua Zheng, Lizi Liao외 2명|arXiv (Cornell University)|2023. 08. 17.

Mental Health via Writing인용 수 12

한 줄 요약

이 논문은 인간 seed 대화와 LLM의 맥락 내 생성(completion)으로 확장 가능한 감정 지원 대화 데이터셋(ExTES)을 구축한 다음, 매개변수 효율적 방법으로 LLaMA 기반 모델을 미세조정하여 감정 지원 챗봇을 만들고 그 품질, 안전성 및 일반화 가능성을 평가합니다.

ABSTRACT

The integration of emotional support into various conversational scenarios presents profound societal benefits, such as social interactions, mental health counseling, and customer service. However, there are unsolved challenges that hinder real-world applications in this field, including limited data availability and the absence of well-accepted model training paradigms. This work endeavors to navigate these challenges by harnessing the capabilities of Large Language Models (LLMs). We introduce an innovative methodology that synthesizes human insights with the computational prowess of LLMs to curate an extensive emotional support dialogue dataset. Our approach is initiated with a meticulously designed set of dialogues spanning diverse scenarios as generative seeds. By utilizing the in-context learning potential of ChatGPT, we recursively generate an ExTensible Emotional Support dialogue dataset, named ExTES. Following this, we deploy advanced tuning techniques on the LLaMA model, examining the impact of diverse training strategies, ultimately yielding an LLM meticulously optimized for emotional support interactions. An exhaustive assessment of the resultant model showcases its proficiency in offering emotional support, marking a pivotal step in the realm of emotional support bots and paving the way for subsequent research and implementations.

연구 동기 및 목표

• 데이터 부족 및 ES 대화의 학습 어려움을 LLM을 활용하여 해결합니다.
• 시나리오와 전략이 포함된 크고 다양한 ES 대화 말뭉치(ExTES)를 만듭니다.
• LLaMA를 대상으로 매개변수 효율적 미세조정 기법을 ES 챗봇에 대해 평가합니다.
• ExTES와 ESConv 간의 데이터셋 독성 및 교차 데이터셋 일반화를 평가합니다.
• ES 대화의 전략 분포 및 대화 역학에 대한 통찰을 제공합니다.

제안 방법

• 대화 시드로 사용할 36개의 ES 시나리오와 16개의 ES 전략을 구성합니다.
• 기존 ES 데이터셋과 웹 소스에서 87개의 시드 대화를 수작업으로 선별합니다.
• Seed에 따라 안내된 ~11k개의 ES 대화를 생성하도록 ChatGPT를 자기 대화 루프에서 사용합니다.
• 생성된 대화를 품질 보장을 위해 수작업으로 검토하고 수정합니다.
• LoRA, Adapter 등의 매개변수 효율적 방법으로 LLaMA-7B 계열 모델을 미세조정하고 DialoGPT 기준선과 비교합니다.
• 자동 평가 지표(PPL, METEOR, BLEU/D, ROUGE, Extrema, D-1/2/3) 및 사람 평가로 평가하고, Perspective API로 독성을 평가하며 ExTES와 ESConv 간의 교차 데이터셋 테스트를 수행합니다.

실험 결과

연구 질문

• RQ1 LLaMA에서 감정 지원 대화를 위한 다양한 매개변수 효율적 미세조정 전략(LoRA, Adapter)의 효과는 어떠한가?
• RQ2 ExTES가 ES 도메인 전반에 걸쳐 일반화되며 ESConv보다 ES 작업에서 더 나은 성능을 보이는가?
• RQ3 ExTES 생성 데이터의 독성 수준은 어떠하며 미세조정을 통해 더 감소시킬 수 있는가?
• RQ4 데이터셋 규모와 전략 기반 생성이 품질 및 사용자 인지 지원에 어떻게 영향을 미치는가?

주요 결과

• LLaMA에 대한 LoRA 튜닝은 일반적으로 자동 지표에서 다른 백본(DialoGPT, Adapter)보다 ES 대화에서 우수한 성능을 보인다.
• 전략 기반 변형은 특정 측면(예: 목표 제안)에서 개선되지만 다양성 면에서는 감소할 수 있다.
• ExTES는 시드 대화 및 ESConv에 비해 인간 평가 품질(정보성, 도움 제공) 측면에서 동등하거나 더 우수한 성과를 보인다.
• 교차 데이터셋 실험에서 ExTES로 학습한 모형이 ESConv 테스트 세트에서 좋은 성능을 보이고, ESConv 학습 모형보다 보이지 않는 ES 시나리오에 더 잘 일반화된다.
• ExTES의 독성 점수는 낮고 LoRA 튜닝으로 더 감소하여 보다 안전한 ES 상호작용을 시사한다.
• ExTES는 원래 ES 맥락을 넘어서는 ES 애플리케이션에 대한 강한 일반화를 보여주어 강력한 ES 챗봇 개발이 가능하다.