[논문 리뷰] MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models

Kailai Yang, Tianlin Zhang외 4명|arXiv (Cornell University)|2023. 09. 24.

Mental Health via Writing인용 수 16

한 줄 요약

본 논문은 소셜 미디어에서 해석 가능한 정신 건강 분석을 위한 105k샘플의 다중 작업 데이터셋 IMHI를 소개하고, 인간과 유사한 설명을 생성하는 오픈 소스 MentaLLaMA 지시 이행 LLM을 학습시켜 예측과 함께 설명을 제공하며, 거의 최첨단 정확도에 근접하고 강력한 작업 일반화 성능을 달성한다.

ABSTRACT

With the development of web technology, social media texts are becoming a rich source for automatic mental health analysis. As traditional discriminative methods bear the problem of low interpretability, the recent large language models have been explored for interpretable mental health analysis on social media, which aims to provide detailed explanations along with predictions. The results show that ChatGPT can generate approaching-human explanations for its correct classifications. However, LLMs still achieve unsatisfactory classification performance in a zero-shot/few-shot manner. Domain-specific finetuning is an effective solution, but faces 2 challenges: 1) lack of high-quality training data. 2) no open-source LLMs for interpretable mental health analysis were released to lower the finetuning cost. To alleviate these problems, we build the first multi-task and multi-source interpretable mental health instruction (IMHI) dataset on social media, with 105K data samples. The raw social media data are collected from 10 existing sources covering 8 mental health analysis tasks. We use expert-written few-shot prompts and collected labels to prompt ChatGPT and obtain explanations from its responses. To ensure the reliability of the explanations, we perform strict automatic and human evaluations on the correctness, consistency, and quality of generated data. Based on the IMHI dataset and LLaMA2 foundation models, we train MentalLLaMA, the first open-source LLM series for interpretable mental health analysis with instruction-following capability. We also evaluate the performance of MentalLLaMA on the IMHI evaluation benchmark with 10 test sets, where their correctness for making predictions and the quality of explanations are examined. The results show that MentalLLaMA approaches state-of-the-art discriminative methods in correctness and generates high-quality explanations.

연구 동기 및 목표

• 예측과 설명을 산출하는 생성 태스크로서 해석 가능한 정신 건강 분석을 형식적으로 정의한다.
• 해석 가능한 정신 건강 분석을 위한 최초의 다중 작업, 다중 소스 지시 지향 튜닝 데이터세트인 IMHI를 구축한다.
• 개방형 소스 MentaLLaMA 모델(7B 및 13B 변형)을 개발하고, 종합 벤치마크에서 정확성과 설명 품질을 평가한다.
• 보지 않은 작업에 대한 강력한 일반화 성능을 입증하고, 판별적 baselines 및 폐쇄/개방형 LLM과 비교한다.

제안 방법

• 10개 소스에서 수집된 8개 정신 건강 태스크에 걸친 입력-출력 쌍으로 생성 기반 태스크를 형식화한다.
• 원시 게시물, 주석, ChatGPT가 생성한 설명을 지시 기반 Q-A 쌍으로 변환하여 IMHI 데이터셋을 구성한다.
• 도메인 프롬프트를 사용하여 전문가 설계의 적은 샷 설명을 유도하고 각 주석에 대해 고품질 설명을 생성한다.
• 지시 튜닝 및 RLHF로 LLaMA2 기반 모델(7B 및 13B)을 미세 조정하여 MentaLLaMA 변형(챗 최적화 버전 포함)을 구축한다.
• MentalBERT 기반의 일관성 확인을 통한 예측 정확도(가중 F1) 및 설명 품질(BART-score) 지표로 IMHI 벤치마크를 사용해 평가한다.

Figure 1. Some examples of MentaLLaMA’s capabilities in diverse mental health analysis tasks.

실험 결과

연구 질문

• RQ1 오픈 소스 지시 이행 LLM이 해석 가능한 정신 건강 분석에서 판별적 기준선과 비교해 얼마나 잘 수행하는가?
• RQ2 지시 지향 튜닝된 LLaMA2 모델이 인간 판단과 일치하는 고품질 설명을 생성하는가?
• RQ3 IMHI 벤치마크 내에서 MentaLLaMA 모델이 보지 않은 작업에 얼마나 잘 일반화하는가?

주요 결과

• MentaLLaMA-chat-13B는 예측 정확도에서 10개 테스트 셋 중 7개에서 최첨단 판별 방법에 접근한다.
• MentaLLaMA 모델은 설명에서 ChatGPT와 동등한 품질을 생성하고, 생성형 PLM보다 설명 품질이 우수하다.
• 지시 튜닝과 RLHF, 그리고 더 큰 모델 크기는 태스크 전반에 걸쳐 정확도와 설명 품질을 향상시킨다.
• IMHI 데이터셋은 보지 않은 태스크에 강한 일반화를 가능하게 하며, 여러 설정에서 ChatGPT보다 더 나은 성능을 보인다.

Figure 2. Three components are concatenated to construct the prompts. The key information is marked in blue.