[논문 리뷰] SoulChat: Improving LLMs' Empathy, Listening, and Comfort Abilities through Fine-tuning with Multi-turn Empathy Conversations

Yirong Chen, Xiaofen Xing외 5명|arXiv (Cornell University)|2023. 11. 01.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인간 중심의 프롬프트를 사용하여 LLM을 피지컬리스트, 경청, 위로 능력을 향상시키기 위해 토닝한 바탕으로, 230만 개 이상의 샘플을 포함하는 대규모 중국어 다단계 공감 대화 데이터셋인 SoulChat을 소개한다. SoulChatCorpus로의 토닝은 자동 평가 및 인간 평가 모두에서 베이스라인 모델을 능가하는 정서적 지원 시나리오에서 LLM의 성능을 크게 향상시킨다.

ABSTRACT

Large language models (LLMs) have been widely applied in various fields due to their excellent capability for memorizing knowledge and chain of thought (CoT). When these language models are applied in the field of psychological counseling, they often rush to provide universal advice. However, when users seek psychological support, they need to gain empathy, trust, understanding and comfort, rather than just reasonable advice. To this end, we constructed a multi-turn empathetic conversation dataset of more than 2 million samples, in which the input is the multi-turn conversation context, and the target is empathetic responses that cover expressions such as questioning, comfort, recognition, listening, trust, emotional support, etc. Experiments have shown that the empathy ability of LLMs can be significantly enhanced when finetuning by using multi-turn dialogue history and responses that are closer to the expression of a psychological consultant.

연구 동기 및 목표

• LLM을 정신 건강 적용 분야에서 훈련하기 위한 대규모, 다단계, 중국어 공감 중심 대화 데이터셋의 부족을 해결하기 위해.
• 일반적인 조언이 아닌 청취, 위로, 인식, 정서적 지원과 같은 공감적인 반응을 제공할 수 있는 LLM의 능력을 향상시키기 위해.
• 다단계 대화 패턴과 공감 제약 조건을 활용하여 심리 상담사의 행동을 더 잘 모방하는 인간 중심의 LLM을 개발하기 위해.
• 데이터 외주화, 규칙 기반 정제, 인간 코칭을 통한 정제를 통해 확장 가능하고 개인정보 보호가 보장된 데이터셋을 구축하기 위해.
• 자동 지표와 전문가가 평가한 인간 평가를 모두 활용하여 공감 특화 반응에 대한 토닝의 효과를 평가하기 위해.

제안 방법

• 12개 주제에 걸쳐 619,725개의 단일 단계 심리 상담 응답과 215,813개의 질문을 수집하여, 먼저 230만 개 샘플의 다단계 공감 대화 데이터셋인 SoulChatCorpus를 구축하였다.
• 청취, 위로, 신뢰, 인식, 정서적 지원 등을 강조하는 강화된 중국어 공감 제약 프롬프트를 사용하여 GPT 기반 모델을 토닝하였다.
• ChatGPT를 활용해 단일 단계 대화를 다단계 공감 대화로 변환한 후, 규칙 기반 필터링과 수동 검토를 통해 공감 표현을 향상시켰다.
• 심리학 전문가 3인이 자연스러움, 공감, 유용성, 안전성에 대해 3점 척도(0–2)로 평가하고, 안전성에 대해 완전한 일致(κ=1)를 확보하였다.
• 기본 모델인 ChatGLM-6B를 SoulChatCorpus로 토닝하고, SoulChatCorpus 및 SMILECHAT 테스트 세트에서 BLEU, ROUGE, 인간 평가를 통해 성능을 평가하였다.
• 민감한 내용(예: '자살', '나는') 및 105,134개의 유해 샘플을 제거하는 철저한 데이터 정제 파이프라인을 구현하여 윤리적 준수를 확보하였다.

실험 결과

연구 질문

• RQ1 대규모, 다단계, 중국어 공감 대화 데이터셋으로 LLM을 토닝하면 공감적, 경청 중심, 위로적인 반응 능력이 크게 향상되는가?
• RQ2 제안된 공감 제약 프롬프트는 기존 프롬프트(예: SMILE)와 비교해 LLM 생성 응답에서 공감 표현을 얼마나 효과적으로 향상시키는가?
• RQ3 SoulChatCorpus 데이터셋은 SMILECHAT과 같은 다른 공감 벤치마크에서의 제로샷 성능을 어느 정도 향상시키는가?
• RQ4 인간 평가와 자동 지표는 LLM 생성 상담 응답의 공감성과 안전성 평가에서 어떻게 비교되는가?
• RQ5 사용자 개인화된 공감 응답을 생성할 때의 주요 제약 사항은 무엇이며, 향후 모델은 나이, 성별, 성격 등의 사용자 특성을 어떻게 고려할 수 있는가?

주요 결과

• SoulChat는 SoulChatCorpus 및 SMILECHAT 테스트 세트에서 BLEU-1에서 BLEU-4, ROUGE-1에서 ROUGE-L까지 모든 자동 평가 지표에서 ChatGLM-6B, ChatGPT, MeChat를 모두 능가하였다.
• 인간 평가에서 SoulChat는 0–2 척도에서 평균 공감 점수 1.78을 기록하여 기준 모델보다 유의미하게 높은 공감 반응 생성 능력을 보였다.
• 공감, 유용성, 자연스러움에 대해 중간에서 다소 높은 평가자 간 일致(제이스의 κ = 0.489–0.532)를 보였고, 안전성에 대해 완전한 일치(κ=1)를 확보하였다.
• 이 데이터셋은 230만 개 샘플의 규모를 확보하여 중국어 정신 건강 및 정서적 지원 분야에서 최초로 백만 개 이상의 다단계 공감 대화 데이터셋이 되었다.
• SoulChat는 SMILECHAT 벤치마크에서 강력한 제로샷 일반화 성능을 보이며, 토닝된 표현이 다른 공감 중심 작업으로의 전이 가능성도 입증하였다.
• 안전성 평가 결과, 데이터 정제 과정에서 잠재적으로 해로운 내용이 모두 제거되었고, 최종 모델은 인간 평가에서 높은 안전성 점수를 유지하였다.