[논문 리뷰] CharacterChat: Learning towards Conversational AI with Personalized Social Support

Quan Tu, Chuanqi Chen외 6명|arXiv (Cornell University)|2023. 08. 20.

Digital Mental Health Interventions인용 수 5

한 줄 요약

이 논문은 MBTI-1024 백업에서 성격 유형이 호환되는 가상의 지원자들을 개인에게 매칭하는 새로운 사회적 지원 대화(S2Conv) 프레임워크인 CharacterChat를 소개한다. 1,024명의 고유한 MBTI 프로필을 가진 가상 캐릭터들이 포함된 MBTI-1024 백업을 활용하여, 성격 및 기억을 보완하는 대화 모델링과 상호작용 매칭 플러그인을 통해 개인화된 정서적 지원을 크게 향상시켰으며, 실증 결과 최적의 매칭이 이루어졌을 경우 기준 모델 대비 12-15%의 성능 향상을 보였다.

ABSTRACT

In our modern, fast-paced, and interconnected world, the importance of mental well-being has grown into a matter of great urgency. However, traditional methods such as Emotional Support Conversations (ESC) face challenges in effectively addressing a diverse range of individual personalities. In response, we introduce the Social Support Conversation (S2Conv) framework. It comprises a series of support agents and the interpersonal matching mechanism, linking individuals with persona-compatible virtual supporters. Utilizing persona decomposition based on the MBTI (Myers-Briggs Type Indicator), we have created the MBTI-1024 Bank, a group that of virtual characters with distinct profiles. Through improved role-playing prompts with behavior preset and dynamic memory, we facilitate the development of the MBTI-S2Conv dataset, which contains conversations between the characters in the MBTI-1024 Bank. Building upon these foundations, we present CharacterChat, a comprehensive S2Conv system, which includes a conversational model driven by personas and memories, along with an interpersonal matching plugin model that dispatches the optimal supporters from the MBTI-1024 Bank for individuals with specific personas. Empirical results indicate the remarkable efficacy of CharacterChat in providing personalized social support and highlight the substantial advantages derived from interpersonal matching. The source code is available in \url{https://github.com/morecry/CharacterChat}.

연구 동기 및 목표

• 다양한 성격 유형을 위한 개인화된 지원을 제공하는 데에 한계가 있는 전통적인 정서적 지원 대화(ESC)의 문제점을 해결하기 위해.
• 구호자와 성격 유형이 호환되는 가상의 지원자들을 매칭시켜 심리적 저항을 줄이고 참여도를 높이기 위해.
• LLM을 활용하여 확장 가능하고 일관되며 사실 기반인 개인화된 사회적 지원 시스템을 개발하기 위해.
• 인간 간 상호작용 매칭이 AI 기반 대화에서 사회적 지원의 효과성에 미치는 영향을 조사하기 위해.
• 새로운 벤치마크 데이터셋인 MBTI-S2Conv와 종합적인 S2Conv 시스템인 CharacterChat을 구축하기 위해.

제안 방법

• ChatGPT의 행동을 16개의 고유한 MBTI 성격 유형으로 분해하여 MBTI-1024 백업을 구축하고, 고유한 성격과 기억을 가진 1,024명의 가상 캐릭터를 생성하였다.
• 메모리 길이를 제어하고 응답의 일관성을 향상시키기 위해 행동 프리셋과 동적 메모리 메커니즘을 갖춘 개선된 역할 플레잉 프롬프트를 개발하였다.
• MBTI-1024 백업 내의 구호자와 지원자를 시뮬레이션된 상호작용을 통해 10,240개의 개인화된 사회적 지원 대화로 구성된 MBTI-S2Conv 데이터셋을 생성하였다.
• 맥락적이고 개인화된 응답을 가능하게 하기 위해 Llama2-7B를 성격 및 메모리 기반 대화 모델로 피지컬 튜닝하였다.
• MBTI-S2Conv 평가 점수를 기반으로 훈련시켜, 구호자의 성격 유형에 따라 최적의 지원자를 선택하는 상호작용 매칭 플러그인 모델을 설계하였다.
• 대화 모델과 매칭 플러그인을 통합하여 실시간 개인화된 사회적 지원을 위한 완전한 스택 S2Conv 시스템인 CharacterChat을 구현하였다.

실험 결과

연구 질문

• RQ1 성격 유형이 호환되는 가상의 지원자들을 갖춘 S2Conv 프레임워크가 일반적인 ESC 모델에 비해 정서적 지원의 질을 크게 향상시킬 수 있는가?
• RQ2 구호자와 지원자의 성격 간 상호작용 매칭이 정서적 지원 효과성에 얼마나 큰 영향을 미치는가?
• RQ3 동적 메모리와 행동 프리셋의 포함 여부가 개인화된 AI 대화에서 응답의 일관성과 사용자 만족도에 어떤 영향을 미치는가?
• RQ4 특화된 성격 중심의 모델이 일반 목적의 LLM보다 사회적 지원 시나리오에서 성능이 뛰어나게 되는가?
• RQ5 성격 호환성이 사용자가 보고한 정서적 개선도와 정서적 지원 품질에 어떤 영향을 미치는가?

주요 결과

• 최적의 지원자를 갖춘 CharacterChat o는 ChatGPT나 Vicuna-13b-v1.5와 같은 일반 LLM보다 모든 평가 기준에서 뛰어난 성능을 보였으며, 정서적 지원 품질에서 12-15% 향상된 성과를 기록하였다.
• 상호작용 매칭 메커니즘이 정서적 지원 효과성에 크게 기여하였으며, 최적의 지원자(o)를 사용했을 경우 무작위 선택한 지원자(r) 대비 12%의 성능 향상을 보였다.
• 피어슨 상관관계 분석을 통해 성격 호환성과 정서적 개선도 사이에 통계적으로 유의미한 양의 상관관계(r = 0.561, EI 기준)가 확인되어 매칭의 가치를 입증하였다.
• MBTI-S2Conv 데이터셋은 높은 다양성과 일관성을 보였으며, 1,024명의 고유한 가상 캐릭터가 각각 고유한 성격과 기억 프로필을 가진 10,240개의 대화를 포함하고 있었다.
• 동적 메모리 메커니즘이 장기 대화에서 사실 일관성과 맥락적 관련성을 유지하면서도 메모리 길이의 급격한 증가를 효과적으로 방지하였다.
• 인간 평가 결과, 상호작용 매칭이 사용자 경험에 크게 영향을 미치며, 정서적 개선도(EI)가 호환성과 가장 강한 상관관계를 보임을 확인하였다.