[논문 리뷰] SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support

Huachuan Qiu, Hongliang He외 3명|arXiv (Cornell University)|2023. 04. 30.

Mental Health via Writing인용 수 6

한 줄 요약

이 논문은 단일 대화에서 정신 건강 Q&A를 다양한 실생활과 유사한 다중 대화로 변환하기 위해 ChatGPT를 활용하는 SMILE 방법을 제안하며, SmileChat 데이터셋을 구축한다. 이 방법은 대규모로, 개인정보 보호가 보장되며 주제가 다양한 대화를 생성함으로써 더 효과적이고 정서적으로 지지하는 대화 시스템을 훈련시키는 데 기여한다.

ABSTRACT

Developing specialized dialogue systems for mental health support requires multi-turn conversation data, which has recently garnered increasing attention. However, gathering and releasing large-scale, real-life multi-turn conversations that could facilitate advancements in mental health support presents challenges in data privacy protection and the time and cost involved in crowdsourcing. To address these challenges, we introduce SMILE, a single-turn to multi-turn inclusive language expansion technique that prompts ChatGPT to rewrite public single-turn dialogues into multi-turn ones. Our work begins by analyzing language transformation and validating the feasibility of our proposed method. We conduct a study on dialogue diversity, including lexical features, semantic features, and dialogue topics, demonstrating the effectiveness of our method. Further, we employ our method to generate a large-scale, lifelike, and diverse dialogue dataset named SMILECHAT, consisting of 55k dialogues. Finally, we utilize the collected corpus to develop a mental health chatbot, MeChat. To better assess the quality of SMILECHAT, we collect a small-scale real-life counseling dataset conducted by data anonymization. Both automatic and human evaluations demonstrate significant improvements in our dialogue system and confirm that SMILECHAT is high-quality. Code, data, and model are publicly available at https://github.com/qiuhuachuan/smile.

연구 동기 및 목표

• 대규모, 고품질, 개인정보 보호가 보장된 다중 대화 정신 건강 대화 데이터셋의 부족 문제를 해결하기 위해.
• 공개된 단일 대화 Q&A에서 유저의 정서적 지지와 실제 생활과 유사한 다양한 다중 대화를 생성할 수 있는 확장 가능하고 포괄적인 방법을 개발하기 위해.
• LLM(예: ChatGPT)을 사용하여 정신 건강 대화 데이터를 증강함으로써 의미적·어휘적 풍부함을 유지하면서도 효과적인지 검증하기 위해.
• 정신 건강 지원 대화 에이전트를 훈련하고 평가하기 위한 기준으로 사용할 수 있는 SmileChat 데이터셋을 구축하기 위해.
• 생성된 다중 대화 데이터를 활용하여 기존 오픈소스 대화 모델의 대화 능력을 향상시키기 위해.

제안 방법

• SMILE 방법은 미세조정된 프롬프트를 사용하여 ChatGPT(gpt-3.5-turbo)가 단일 대화 QA 쌍을 자연스럽고 공감 어울리는 대화 흐름을 갖춘 다중 대화로 재작성하도록 지시한다.
• 프롬프트는 원래 의도를 유지하고, 정서적 지지를 포함하며, 대화 흐름에 자연스럽게 녹여진 구조적 제안을 포함하도록 설계된다.
• 다양한 주제, 정서적 톤, 응답 구조를 포함한 반복 생성을 통해 다양성을 확보한다.
• SMILE 적용 여부에 따라 생성된 데이터셋 간의 체계적 대조 분석을 수행하여 대화의 다양성, 의미적 풍부함, 현실성 등을 평가한다.
• 공개된 단일 대화 정신 건강 Q&A에 SMILE 방법을 적용하여 대규모 다중 대화 코퍼스인 SmileChat 데이터셋을 구축한다.
• 자동 평가 지표와 인간 평가를 포함한 정성적·정량적 분석을 통해 생성된 대화의 현실성과 다양성을 검증한다.

실험 결과

연구 질문

• RQ1 LLM(예: ChatGPT)은 단일 대화 정신 건강 Q&A를 정서적·의미적 깊이를 유지하면서도 현실적인 다중 대화로 효과적으로 변환할 수 있는가?
• RQ2 SMILE로 생성된 데이터셋은 기존 데이터셋 대비 주제 다양성, 어휘 풍부함, 대화의 현실성 측면에서 어떻게 비교되는가?
• RQ3 SmileChat 데이터셋을 사용할 경우, 정신 건강 대화 시스템의 정서적 지지 및 구조적 피드백 제공 능력은 어느 정도 향상되는가?
• RQ4 생성된 대화가 실제 정신 건강 대화와 유사하게 느껴지게 하는 주요 특성들은 무엇인가?
• RQ5 다중 대화 구조를 포함함으로써 단일 대화 데이터에 비해 대화 에이전트 훈련에 어떤 방식으로 기여하는가?

주요 결과

• SMILE 방법은 다양한 주제, 어휘 특성, 의미적 깊이를 포함한 대규모로 다양하고 현실적인 다중 대화 정신 건강 대화 데이터셋인 SmileChat을 성공적으로 생성하였다.
• 비증강 데이터와의 체계적 대조 분석을 통해 생성된 대화는 높은 현실성과 정서적 일관성을 보였다.
• 단일 대화 또는 기존 기반 증강 방법에 비해 SmileChat 데이터셋은 대화의 다양성과 의미적 풍부함 측면에서 뚜렷한 향상을 보였다.
• SmileChat 데이터셋을 사용해 대화 모델을 피지컬러닝하면, 다중 대화 상황에서 정서적 지지와 구조적 제안을 더 잘 제공하는 성능 향상이 이루어졌다.
• 공개 Q&A를 새로운 대화로 변환함으로써 민감한 개인 정보를暴露하지 않도록 하여 개인정보 보호를 효과적으로 유지하였다.
• 인간의 레이블링이나 실제 사용자로부터의 데이터 수집 없이도 고품질의 정신 건강 대화 데이터를 생성할 수 있도록 확장 가능하고 비용 효율적인 방법이었다.