[논문 리뷰] An Assessment on Comprehending Mental Health through Large Language Models

Mihael Arčan, Paul-David Niland외 1명|arXiv (Cornell University)|2024. 01. 09.

Mental Health via Writing인용 수 4

한 줄 요약

이 연구는 DAIC-WOZ 데이터셋을 사용하여 정신건강 증상 탐지에 대해 Llama-2 및 ChatGPT와 같은 대규모 언어 모델(LMs)을 전통적인 트랜스포머 모델(예: Distil-RoBERTa, BERT)과 비교한다. 그 규모에도 불구하고 LLMs는 미세조정된 더 작은 트랜스포머 모델에 비해 성능이 열 劣하며, Distil-RoBERTa가 GAD 및 PHQ 질문 세트에서 정밀도, 재현도, F1 점수 전반에서 최고의 성능을 기록한다.

ABSTRACT

Mental health challenges pose considerable global burdens on individuals and communities. Recent data indicates that more than 20% of adults may encounter at least one mental disorder in their lifetime. On the one hand, the advancements in large language models have facilitated diverse applications, yet a significant research gap persists in understanding and enhancing the potential of large language models within the domain of mental health. On the other hand, across various applications, an outstanding question involves the capacity of large language models to comprehend expressions of human mental health conditions in natural language. This study presents an initial evaluation of large language models in addressing this gap. Due to this, we compare the performance of Llama-2 and ChatGPT with classical Machine as well as Deep learning models. Our results on the DAIC-WOZ dataset show that transformer-based models, like BERT or XLNet, outperform the large language models.

연구 동기 및 목표

• 대규모 언어 모델(LMs)인 Llama-2 및 ChatGPT가 자연어에서 정신건강 상태를 이해하고 탐지하는 데 얼마나 효과적인지 평가하는 것.
• 정신건강 증상 탐지 분야에서 LLMs와 전통적인 기계학습 및 딥러닝 모델, 특히 미세조정된 트랜스포머 아키텍처 간의 성능을 비교하는 것.
• 프롬프팅 전략이 GAD-1, GAD-2, PHQ-1, PHQ-2와 같은 정신건강 질문 세트에서 LLM 성능을 향상시키는지 조사하는 것.
• 특히 오진이나 해로운 조언의 위험이 높은 정신건강 데이터에 적용할 때 LLMs가 보이는 주요 성능 격차와 편향을 규명하는 것.
• 향후 정신건강 분야의 AI 도구 개발을 위한 실증적 기준을 제공하고, 모델 적응화 및 편향 완화의 필요성을 강조하는 것.

제안 방법

• BERT, RoBERTa, XLNet, Distil-RoBERTa와 같은 미세조정된 트랜스포머 모델은 DAIC-WOZ 데이터셋을 기반으로 정신건강 증상 탐지에 대해 훈련 및 평가되었다.
• Llama-2 및 ChatGPT와 같은 대규모 언어 모델은 다양한 전략(예: 흩어진 샘플 프롬프팅, 제로샷 프롬프팅)을 사용하여 임상 대화 기록에서 증상을 분류하도록 프롬프팅되었다.
• 모델 성능 평가에는 표준 NLP 메트릭이 사용되었으며, 다중 레이블 분류에 대해 가중 평균 정밀도, 재현도, F1 점수, 하미ング 손실, AUC-ROC가 사용되었다.
• XGBoost는 수작업 특징과 기울기 부스팅을 활용하여 딥러닝 및 LLM 접근법과 비교하기 위한 강력한 베이스라인 모델로 사용되었다.
• 연구는 LLMs에 대해 제로샷 및 흩어진 샘플 프롬프팅 프레임워크를 도입하여 정신건강 증상 탐지에서의 일반화 능력을 평가하였다.
• 모든 모델은 PHQ-4 척도를 기준으로 하여 네 가지 정신건강 질문 세트(GAD-1, GAD-2(일반화된 불안 장애), PHQ-1, PHQ-2(우울증 증상))에서 평가되었다.

실험 결과

연구 질문

• RQ1 Llama-2 및 ChatGPT와 같은 대규모 언어 모델은 미세조정 없이 임상 대화 기록에서 정신건강 증상을 효과적으로 탐지할 수 있는가?
• RQ2 LLMs는 정신건강 증상 탐지 작업에서 미세조정된 더 작은 트랜스포머 모델(Distil-RoBERTa, BERT 등)과 비교해 성능이 어떻게 다른가?
• RQ3 표준 미세조정 대비 정신건강 분류 작업에서 프롬프팅 전략이 LLM 성능을 유의미하게 향상시키는가?
• RQ4 하미ング 손실과 AUC-ROC 측면에서 XGBoost 및 딥러닝 모델과 LLM 간의 상대적 성능은 어떠한가?
• RQ5 특히 정신건강 데이터의 민감성과 관련하여 LLMs는 불안 및 우울증 증상 탐지에서 편향이나 일관성 없는 성능을 보이는가?

주요 결과

• Distil-RoBERTa는 GAD-2 질문 세트에서 0.68의 최고 가중 F1 점수를 기록했고, PHQ-2에서는 0.62를 기록하여 Llama-2 및 ChatGPT를 포함한 모든 다른 모델을 앞섰다.
• ChatGPT 3.5는 Llama-2(v3)에 비해 약간의 우월함을 보였으며, PHQ-2에서 F1 점수 0.53(0.49)을 기록했고, GAD-2에서 AUC-ROC도 더 높았다(0.77 대 0.70).
• Llama-2(v3)는 모든 메트릭에서 열 劣한 성능을 보였으며, GAD-2에서 가중 F1 점수가 0.33, PHQ-2에서는 0.30에 머물러 있어 정신건강 작업에 대한 제로샷 일반화 능력이 제한적임을 시사했다.
• XGBoost는 하미ング 손실 측면에서 모든 모델을 일관되게 앞섰으며, GAD-2에서 0.31, PHQ-2에서 0.47를 기록하여 다중 레이블 분류에서 뛰어난 성능을 보였다.
• BERT, XLNet, RoBERTa와 같은 트랜스포머 기반 모델은 모든 메트릭에서 LLMs를 압도했으며, Distil-RoBERTa가 성능과 효율성의 최적 균형을 달성했다.
• 연구 결과, LLMs의 파rameter 수가 많다고 해서 정신건강 증상 탐지 성능이 향상되는 것은 아니며, 임상 NLP 분야에서 LLM 일반화 능력에 대한 기존의 가정을 도전한다.