[논문 리뷰] Development and Evaluation of Three Chatbots for Postpartum Mood and Anxiety Disorders

Xuewen Yao, Miriam Mikhelson외 4명|arXiv (Cornell University)|2023. 08. 14.

Digital Mental Health Interventions인용 수 7

한 줄 요약

이 연구는 분당 우울증 및 불안 장애를 앓는 육아 보호자를 위한 공감적이고 맥락에 맞는 지원을 제공하기 위해 세 가지 챗봇—두 개의 규칙 기반 및 한 개의 생성형—을 개발하고 평가한다. Postpartum Support International의 7,014건의 실제 핫라인 대화 데이터셋을 사용하여, 규칙 기반 모델이 공감, 관련성, 사용자 선호도에서 생성형 모델을 앞서며, 생성형 모델은 훈련 데이터의 한계로 인해 혼란스럽거나 비논리적인 응답을 생성했다.

ABSTRACT

In collaboration with Postpartum Support International (PSI), a non-profit organization dedicated to supporting caregivers with postpartum mood and anxiety disorders, we developed three chatbots to provide context-specific empathetic support to postpartum caregivers, leveraging both rule-based and generative models. We present and evaluate the performance of our chatbots using both machine-based metrics and human-based questionnaires. Overall, our rule-based model achieves the best performance, with outputs that are close to ground truth reference and contain the highest levels of empathy. Human users prefer the rule-based chatbot over the generative chatbot for its context-specific and human-like replies. Our generative chatbot also produced empathetic responses and was described by human users as engaging. However, limitations in the training dataset often result in confusing or nonsensical responses. We conclude by discussing practical benefits of rule-based vs. generative models for supporting individuals with mental health challenges. In light of the recent surge of ChatGPT and BARD, we also discuss the possibilities and pitfalls of large language models for digital mental healthcare.

연구 동기 및 목표

• 비용, 낙인, 전문가 부족 등의 장애로 인해 접근하기 어려운 저비용 정신건강 지원의 심각한 격차를 해소하기 위해.
• 실제 임상 대화 데이터를 활용하여 분만 후 우울증 및 불안 장애(PPMADs)에 대한 맥락에 맞고 공감적인 응답을 제공하는 챗봇을 개발하고 평가하기 위해.
• 디지털 정신건강 치료 분야에서 규칙 기반 모델과 생성형 모델의 성능, 공감 능력, 사용성 비교를 위해.
• 대규모 언어 모델(Large Language Models, LLM)이 직접적인 디지털 정신건강 응용 분야에서 인간의 감시 없이 윤리적이고 효과적으로 사용될 수 있는지 평가하기 위해.

제안 방법

• Postpartum Support International의 핫라인에서 수집한 7,014건의 익명화된 문자 메시지 대화 데이터셋을 활용하여 훈련 및 평가를 수행했다.
• 의도 및 엔티티 인식을 통해 맵핑된 사전 작성된 맥락에 맞는 응답을 사용한 검색 기반 아키텍처를 기반으로 한 규칙 기반 챗봇을 개발했다.
• 동일한 대화 데이터를 기반으로 미세조정된 대규모 언어 모델(LLM)을 사용하여 개방형 응답을 생성하는 생성형 챗봇을 구축했다.
• 자동 평가 지표(예: BLEU, ROUGE, BERTScore)와 질문지 기반 인간 평가(공감, 관련성, 사용자 선호도 평가)를 통해 모델을 평가했다.
• 참가자 대상 사용자 연구를 수행하여 각 모델의 응답이 인지하는 품질과 정서적 지원 수준을 비교했다.
• 일반적인 분만 후 우울증 관련 우려 사항을 기반으로 ChatGPT를 테스트하여 맥락 유지 능력, 사실적 정확도, 윤리적 적합성 여부를 평가했다.

실험 결과

연구 질문

• RQ1 규칙 기반 모델과 생성형 모델은 분만 후 보호자에게 맥락에 맞고 공감적인 응답을 제공하는 데 어떻게 비교되는가?
• RQ2 훈련 데이터의 품질과 모델 아키텍처는 정신건강 챗봇의 응답 일관성과 공감 능력에 어떤 영향을 미치는가?
• RQ3 ChatGPT와 같은 대규모 언어 모델은 인간의 감시 없이 직접적인 디지털 정신건강 응용 분야에서 윤리적이고 효과적으로 사용될 수 있는가?
• RQ4 사용자들은 규칙 기반 모델과 생성형 모델의 응답에서 공감, 관련성, 신뢰성에 대해 어떻게 평가하는가?
• RQ5 생성형 모델은 정서적으로 민감한 대화에서 맥락을 얼마나 잘 유지하고 있으며, 비논리적이거나 해로운 응답을 얼마나 피할 수 있는가?

주요 결과

• 규칙 기반 챗봇은 기계 기반 평가 지표에서 최고의 성능을 보였으며, 기준 참조 응답에 가장 가까운 결과와 가장 높은 공감 점수를 기록했다.
• 사용자들은 규칙 기반 챗봇을 생성형 모델보다 선호했으며, 이는 맥락에 맞고 일관성 있고 인간다운 응답 덕분이었다.
• 생성형 챗봇은 공감적인 응답을 제공하고 상호작용이 활발하다고 평가되었지만, 훈련 데이터의 한계로 인해 자주 혼란스럽거나 비논리적인 답변을 생성했다.
• ChatGPT는 대화 전반에 걸쳐 맥락을 유지하지 못했으며, 예를 들어 '그'를 성인으로 잘못 인식해 신뢰를 해칠 정도로 정서적으로 민감한 상황에서의 신뢰도를 떨어뜨렸다.
• ChatGPT의 응답은 조심스럽게 프롬프트를 제공하더라도 잘못되거나 해로운 조언을 줄 수 있어 정신건강 치료에 윤리적으로 부적합했다.
• ChatGPT와 같은 대규모 언어 모델은 상황 이해 능력 부족, 윤리적 제약, 오류 수정 능력의 열악함으로 인해 인간 모니터링 없이 디지털 정신건강 치료 분야에 직접 도입될 수 없다.