[논문 리뷰] Harnessing Large Language Models Over Transformer Models for Detecting Bengali Depressive Social Media Text: A Comprehensive Study

A. K. Azad Chowdhury, Md. Saidur Rahman Sujon외 5명|arXiv (Cornell University)|2024. 01. 14.

Mental Health via Writing인용 수 5

한 줄 요약

이 논문은 벵골어 우울 텍스트 탐지에서 LLM, PLM, 및 딥러닝/트랜스포머 모델의 성능을 비교하고, 벵골어 소셜 미디어 우울 데이터셋(BSMDD)을 도입하며, DepGPT가 제로샷/풋샷에서 거의 완벽에 가까운 정확도와 F1를 달성했다고 보고한다.

ABSTRACT

In an era where the silent struggle of underdiagnosed depression pervades globally, our research delves into the crucial link between mental health and social media. This work focuses on early detection of depression, particularly in extroverted social media users, using LLMs such as GPT 3.5, GPT 4 and our proposed GPT 3.5 fine-tuned model DepGPT, as well as advanced Deep learning models(LSTM, Bi-LSTM, GRU, BiGRU) and Transformer models(BERT, BanglaBERT, SahajBERT, BanglaBERT-Base). The study categorized Reddit and X datasets into "Depressive" and "Non-Depressive" segments, translated into Bengali by native speakers with expertise in mental health, resulting in the creation of the Bengali Social Media Depressive Dataset (BSMDD). Our work provides full architecture details for each model and a methodical way to assess their performance in Bengali depressive text categorization using zero-shot and few-shot learning techniques. Our work demonstrates the superiority of SahajBERT and Bi-LSTM with FastText embeddings in their respective domains also tackles explainability issues with transformer models and emphasizes the effectiveness of LLMs, especially DepGPT, demonstrating flexibility and competence in a range of learning contexts. According to the experiment results, the proposed model, DepGPT, outperformed not only Alpaca Lora 7B in zero-shot and few-shot scenarios but also every other model, achieving a near-perfect accuracy of 0.9796 and an F1-score of 0.9804, high recall, and exceptional precision. Although competitive, GPT-3.5 Turbo and Alpaca Lora 7B show relatively poorer effectiveness in zero-shot and few-shot situations. The work emphasizes the effectiveness and flexibility of LLMs in a variety of linguistic circumstances, providing insightful information about the complex field of depression detection models.

연구 동기 및 목표

• 벵골어 우울 텍스트 탐지를 위한 다양한 NLP 모델(딥러닝, 트랜스포머, 및 LLM)의 효과를 조사한다.
• 높은 주석 품질을 가진 Reddit 및 X 번역에서 벵골어 우울 텍스트 데이터셋(BSMDD)을 생성하고 검증한다.
• DepGPT, GPT-4, GPT-3.5, 및 Alpaca LoRA 7B를 포함한 모델에서 제로샷 및 풋샷 학습 성능을 평가한다.

제안 방법

• Reddit와 X의 벵골어 우울 콘텐츠를 벵골어 소셜 미디어 우울 데이터셋(BSMDD)으로 번역하고 주석을 달다.
• 모델 학습을 위해 노이즈를 제거하고 중복을 제거하며 표준화하기 위한 텍스트 전처리.
• Word2vec, GloVe, FastText 임베딩을 사용한 딥러닝 모델(LSTM, BiLSTM, GRU, BiGRU) 평가.
• 대형 언어 모델(GPT-3.5 Base, GPT-3.5 Turbo, GPT-4, DepGPT, Alpaca LoRA 7B)을 미세조정하고 PLMs(BERT Multilingual, BanglaBERT, sahajBERT, Bangla BERT Base)와 비교한다.
• LLM의 제로샷/풋샷 평가를 위한 프롬프트와 시스템 프롬프트를 설계한다.
• 정확도, 정밀도, 재현율, F1를 주요 지표로 보고한다.

실험 결과

연구 질문

• RQ1 어떤 범주의 모델(DL, PLM 트랜스포머, 또는 LLM)이 벵골어 우울 텍스트 탐지에서 가장 우수한 성능을 보이는가?
• RQ2 제로샷 및 풋샷 프롬프트가 벵골어 우울 텍스트 분류의 정확도와 F1 점수에 어떤 영향을 미치는가?
• RQ3 벵골어 우울 데이터셋에서 DepGPT의 성능이 GPT-3.5 Turbo, GPT-4, Alpaca LoRA 7B와 비교하여 어떤가?

주요 결과

• DepGPT는 제로샷/풋샷 설정에서 거의 완벽에 가까운 정확도 0.9796과 F1 점수 0.9804를 달성했다.
• SahajBERT와 FastText 임베딩을 사용한 Bi-LSTM이 각 영역에서 강력한 성능을 보였다.
• GPT-3.5 Turbo와 Alpaca LoRA 7B는 경쟁력이 있었으나 제로샷/풋샷 상황에서 일반적으로 DepGPT보다 열위였다.
• 본 연구는 DL, PLMs, LLM에 걸친 벵골어 우울 텍스트 평가를 위한 아키텍처 세부사항과 방법을 제공하고 트랜스포머의 설명가능성 문제를 다룬다.