[논문 리뷰] Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data

Xuhai Xu, Bingsheng Yao외 7명|arXiv (Cornell University)|2023. 07. 26.

Mental Health via Writing참고 문헌 122인용 수 59

한 줄 요약

이 논문은 온라인 텍스트 데이터를 사용한 정신 건강 예측 작업에서 무지-shot, 소수-shot, 그리고 지시-미세 조정 설정을 통해 여러 지시-튜닝 LLM을 평가하고, 지시 미세 조정이 성능을 크게 향상시키며 Mental-Alpaca와 Mental-FLAN-T5가 최첨단 수준의 능력에 도달함을 보여준다.

ABSTRACT

Advances in large language models (LLMs) have empowered a variety of applications. However, there is still a significant gap in research when it comes to understanding and enhancing the capabilities of LLMs in the field of mental health. In this work, we present a comprehensive evaluation of multiple LLMs on various mental health prediction tasks via online text data, including Alpaca, Alpaca-LoRA, FLAN-T5, GPT-3.5, and GPT-4. We conduct a broad range of experiments, covering zero-shot prompting, few-shot prompting, and instruction fine-tuning. The results indicate a promising yet limited performance of LLMs with zero-shot and few-shot prompt designs for mental health tasks. More importantly, our experiments show that instruction finetuning can significantly boost the performance of LLMs for all tasks simultaneously. Our best-finetuned models, Mental-Alpaca and Mental-FLAN-T5, outperform the best prompt design of GPT-3.5 (25 and 15 times bigger) by 10.9% on balanced accuracy and the best of GPT-4 (250 and 150 times bigger) by 4.8%. They further perform on par with the state-of-the-art task-specific language model. We also conduct an exploratory case study on LLMs' capability on mental health reasoning tasks, illustrating the promising capability of certain models such as GPT-4. We summarize our findings into a set of action guidelines for potential methods to enhance LLMs' capability for mental health tasks. Meanwhile, we also emphasize the important limitations before achieving deployability in real-world mental health settings, such as known racial and gender bias. We highlight the important ethical risks accompanying this line of research.

연구 동기 및 목표

• 무지샷, 소수샷, 그리고 지시 미세 조정이 온라인 텍스트 데이터를 사용하는 정신 건강 작업에서 LLM에 어떤 영향을 미치는지 평가한다.
• 다양한 데이터 세트에서 광범위한 LLM(Alpaca, Alpaca-LoRA, FLAN-T5, LLaMA2, GPT-3.5, GPT-4)을 비교한다.
• 지시 미세 조정이 다양한 작업과 데이터 세트에서 폭넓은 성능 향상을 보임을 입증한다.
• 향후 연구를 위한 오픈 소스 정신 건강 맞춤 모델 및 가이드를 제공한다.]
• method:[

제안 방법

• 네 부분 구조의 제로샷 프롬프트와 네 가지 프롬프트 전략(Basic, Context Enhancement, Mental Health Enhancement, Context & Mental Health Enhancement)을 설계한다.
• 제로샷 프롬프트에 프롬프트-레이블 시연 집합을 추가하여 소수샷 프롬 prompting 구현.
• 다양한 정신 건강 작업 간 다중 작업 처리를 가능하게 하는 다중 데이터 세트 학습을 사용한 지시 미세 조정을 수행한다.
• train/test 분할 및 외부 평가를 가진 Reddit 및 비 Reddit 데이터 세트에서 여섯 가지 작업을 평가한다.
• 정신 건강 예측 작업을 위한 오픈 소스 미세 조정 모델인 Mental-Alpaca 및 Mental-FLAN-T5를 개발하고 공개한다.

Figure 1 . Balanced Accuracy Performance Summary of Mental-Alpaca Finetuning with Different Sizes of Training Set. The finetuning is conducted across four datasets and six tasks. Each solid line represents the performance of the finetuned model on each task. The dashed line indicates the Alpaca ZS p

실험 결과

연구 질문

• RQ1 다수의 LLM에서 정신 건강 예측 작업에 대해 제로샷 및 소수샷 프롬 prompting은 어떻게 비교되는가?
• RQ2 지시 미세 조정이 다양한 정신 건강 작업 및 데이터 세트에서 성능을 얼마나 향상시킬 수 있는가?
• RQ3 미세 조정된 모델이 정신 건강 예측에서 작업별 모델과 일치하거나 능가할 수 있는가?
• RQ4 정신 건강 분석에 LLM을 배치할 때의 윤리적 고려사항과 편향은 무엇인가?

주요 결과

• 지시 미세 조정은 여러 정신 건강 작업과 데이터 세트에서 모델 성능을 크게 향상시킨다.
• Mental-Alpaca 및 Mental-FLAN-T5는 최고의 GPT-3.5 프롬프트 설계보다 평균 균형 정확도에서 10.9% 높은 성과를 보이며(비교적 훨씬 작음) 최상의 GPT-4 프롬프트를 평균 4.8% 이긴다.
• 미세 조정된 모델은 여러 작업에서 최첨단 작업별 Mental-RoBERTa와 동등한 성능에 도달한다.
• 제로샷 및 소수샷 프롬프트는 유망하지만 제한적 성능을 보이며, 소수샷은 평균 약 4.1%의 개선을 제공한다.
• 사례 연구는 GPT-4와 같은 모델에서 미묘한 추론 능력을 시사하고 추가 연구가 필요한 실패 사례를 강조한다.
• Mental-Alpaca 및 Mental-FLAN-T5의 오픈 소스 공개로 다중 작업 정신 건강 예측 연구를 촉진한다.

Figure 2 . A Case Study of Correct Reasoning Examples on Task #1 Binary Stress Prediction on Dreaddit Dataset. Bolded texts highlight the mental-health-related content in the input section, and the answers of LLMs. Underlined texts highlight the reasoning content generated by LLMs, and italicized &