[논문 리뷰] An Evaluation of Generative Pre-Training Model-based Therapy Chatbot for Caregivers

Lu Wang, Munif Ishad Mujib외 3명|arXiv (Cornell University)|2021. 07. 28.

AI in Service Interactions참고 문헌 38인용 수 23

한 줄 요약

이 연구는 306건의 치매 간병인 치료 세션에 맞춤형으로 조정된 GPT-2 기반 치료 챗봇의 생성 품질과 정서적 어조를 평가한다. 결과적으로, 조정된 모델은 치료사의 응답 길이를 더 잘 따라했지만, 더 많은 비어 있는 단어와 비율적으로 더 부정적인 정서를 생성하여, 생성 모델을 임상 정신건강 적용에 적응시키는 데의 과제를 드러낸다.

ABSTRACT

With the advent of off-the-shelf intelligent home products and broader internet adoption, researchers increasingly explore smart computing applications that provide easier access to health and wellness resources. AI-based systems like chatbots have the potential to provide services that could provide mental health support. However, existing therapy chatbots are often retrieval-based, requiring users to respond with a constrained set of answers, which may not be appropriate given that such pre-determined inquiries may not reflect each patient's unique circumstances. Generative-based approaches, such as the OpenAI GPT models, could allow for more dynamic conversations in therapy chatbot contexts than previous approaches. To investigate the generative-based model's potential in therapy chatbot contexts, we built a chatbot using the GPT-2 model. We fine-tuned it with 306 therapy session transcripts between family caregivers of individuals with dementia and therapists conducting Problem Solving Therapy. We then evaluated the model's pre-trained and the fine-tuned model in terms of basic qualities using three meta-information measurements: the proportion of non-word outputs, the length of response, and sentiment components. Results showed that: (1) the fine-tuned model created more non-word outputs than the pre-trained model; (2) the fine-tuned model generated outputs whose length was more similar to that of the therapists compared to the pre-trained model; (3) both the pre-trained model and fine-tuned model were likely to generate more negative and fewer positive outputs than the therapists. We discuss potential reasons for the problem, the implications, and solutions for developing therapy chatbots and call for investigations of the AI-based system application.

연구 동기 및 목표

• 치매 환자의 가족 간병인을 대상으로 한 정신건강 치료 챗봇에 GPT-2와 같은 생성형 사전 학습 모델을 사용하는 것이 가능한지 조사하기 위해.
• 메타정보 지표를 사용하여 사전 학습된 기준 모델과 비교해, 조정된 GPT-2 모델의 응답 품질을 평가하기 위해.
• 특히 정서 정확도와 응답 일관성 측면에서, 생성 모델이 임상 대화 환경에서 가질 수 있는 잠재적 위험과 한계를 규명하기 위해.
• 정서 어조와 언어적 품질 측면에서의 성능 격차를 분석하여, 향후 AI 기반 정신건강 도구 개발에 정보를 제공하기 위해.

제안 방법

• 치매 간병인과 자격을 가진 치료사 간의 306건의 실제 치료 세션 원고를 기반으로 GPT-2 미디엄 모델을 문제 해결 치료 기반으로 조정하였다.
• 모델 출력을 평가하기 위해 세 가지 메타정보 지표를 사용: 비어 있는 단어 비율, 응답 길이, 정서 구성 요소(긍정/부정).
• 조정된 모델의 응답을 사전 학습된 GPT-2 및 실제 치료사의 응답과 비교하여 향상 여부와 편차를 평가하였다.
• 정서 분석을 적용하여 감정 어조를 정량화하고, 실제 치료사 상호작용에서 관찰된 긍정적 강화 패tern과 비교하였다.
• 언어적 품질(비어 있는 단어), 구조적 일관성(응답 길이), 정서 일치성(정서)의 세 가지 차원에서 모델 행동을 평가하였다.
• 정량적 및 정성적 접근을 병행하여, 조정이 모델이 치료 대화 패턴을 모방하는 능력을 향상시켰는지 평가하였다.

실험 결과

연구 질문

• RQ1 사전 학습된 GPT-2 모델을 치료 세션 원고에 맞춤형으로 조정함으로써 생성 응답의 언어적 품질에 어떤 영향을 미치는가?
• RQ2 조정된 모델의 응답 길이가 실제 치료사의 응답 길이와 어느 정도 일치하는가?
• RQ3 모델의 응답 정서 패턴은 임상 환경에서 자격을 가진 치료사의 정서 패턴과 어떻게 비교되는가?
• RQ4 생성 모델이 치료 대화 역학을 재현하는 데 있어 핵심적인 한계는 무엇인가, 특히 정서 어조와 일관성 측면에서?

주요 결과

• 조정된 GPT-2 모델은 사전 학습된 모델보다 더 높은 비율의 비어 있는 단어를 생성하여, 조정 후 언어적 품질이 떨어졌음을 시사한다.
• 조정된 모델은 실제 치료사의 응답 길이에 비해 사전 학습된 모델보다 통계적으로 더 가까운 길이의 응답을 생성하여, 구조적 모방 능력 향상이 있었음을 시사한다.
• 사전 학습된 모델과 조정된 모델 모두 실제 치료사보다 유의미하게 더 많은 부정적 정서와 더 적은 긍정적 정서를 생성하여, 치료적 강화 패턴을 재현하지 못하고 있음을 시사한다.
• 모델이 긍정적 정서를 유지하지 못하는 것은, 조정된 데이터 기반임에도 불구하고 치료 의도와 근본적인 불일치를 보여준다.
• 작은 조정 데이터셋(7MB 이하)이 응답의 일관성과 정서적 적절성 있는 생성 능력 저하에 기여했을 가능성이 높다.
• 이 연구는 데이터 부족, 해석 불가능성, 그리고 치료에서 인간의 인지적·정서적 요소와의 일치 어려움 등으로 인해 대규모 생성 모델을 임상 분야에 적응시키는 데의 과제를 부각시킨다.