[論文レビュー] Harnessing Large Language Models Over Transformer Models for Detecting Bengali Depressive Social Media Text: A Comprehensive Study

A. K. Azad Chowdhury, Md. Saidur Rahman Sujon+5 more|arXiv (Cornell University)|Jan 14, 2024

Mental Health via Writing被引用数 5

ひとこと要約

本論文は、LLMs、PLMs、深層学習/トランスフォーマーモデルを比較し、ベンガル語の鬱テキスト検出において Bengali Social Media Depressive Dataset (BSMDD) を導入し、DepGPT がゼロショット/few-shot設定でほぼ完璧な精度とF1を達成したと報告する。

ABSTRACT

In an era where the silent struggle of underdiagnosed depression pervades globally, our research delves into the crucial link between mental health and social media. This work focuses on early detection of depression, particularly in extroverted social media users, using LLMs such as GPT 3.5, GPT 4 and our proposed GPT 3.5 fine-tuned model DepGPT, as well as advanced Deep learning models(LSTM, Bi-LSTM, GRU, BiGRU) and Transformer models(BERT, BanglaBERT, SahajBERT, BanglaBERT-Base). The study categorized Reddit and X datasets into "Depressive" and "Non-Depressive" segments, translated into Bengali by native speakers with expertise in mental health, resulting in the creation of the Bengali Social Media Depressive Dataset (BSMDD). Our work provides full architecture details for each model and a methodical way to assess their performance in Bengali depressive text categorization using zero-shot and few-shot learning techniques. Our work demonstrates the superiority of SahajBERT and Bi-LSTM with FastText embeddings in their respective domains also tackles explainability issues with transformer models and emphasizes the effectiveness of LLMs, especially DepGPT, demonstrating flexibility and competence in a range of learning contexts. According to the experiment results, the proposed model, DepGPT, outperformed not only Alpaca Lora 7B in zero-shot and few-shot scenarios but also every other model, achieving a near-perfect accuracy of 0.9796 and an F1-score of 0.9804, high recall, and exceptional precision. Although competitive, GPT-3.5 Turbo and Alpaca Lora 7B show relatively poorer effectiveness in zero-shot and few-shot situations. The work emphasizes the effectiveness and flexibility of LLMs in a variety of linguistic circumstances, providing insightful information about the complex field of depression detection models.

研究の動機と目的

• ベンガル語の鬱テキスト検出における多様なNLPモデル（深層学習、トランスフォーマー、LLMs）の有効性を調査する。
• RedditとXの翻訳から高品質のアノテーションを付与したベンガル語鬱テキストデータセット（BSMDD）を作成・検証する。
• DepGPT、GPT-4、GPT-3.5、および Alpaca LoRA 7B を含むモデル間でゼロショットおよび few-shot 学習の性能を評価する。

提案手法

• RedditとXからのベンガル語鬱テキストを翻訳し、BSMDDにアノテーションを付与する。
• ノイズを除去し、重複を削除し、モデル訓練の標準化のためにテキストを前処理する。
• Word2vec、GloVe、FastText の埋め込みを用いて、LSTM、BiLSTM、GRU、BiGRU といった深層学習モデルを評価する。
• 大規模言語モデル（GPT-3.5 Base、GPT-3.5 Turbo、GPT-4、DepGPT、Alpaca LoRA 7B）をファインチューニングし、PLMs（BERT Multilingual、BanglaBERT、sahajBERT、Bangla BERT Base）と比較する。
• LLM のゼロ-/few-shot 評価のためのプロンプトとシステムプロンプトを設計する。
• 正確度、適合率、再現率、F1 を主要指標として報告する。

実験結果

リサーチクエスチョン

• RQ1 どのカテゴリのモデル（DL、PLM トランスフォーマー、または LLM）がベンガル語の鬱テキスト検出性能で最高を示すか？
• RQ2 ゼロショットとfew-shot プロンプトは、ベンガル語の鬱テキスト分類の精度および F1 スコアにどのように影響するか？
• RQ3 ベンガル語の鬱データセットにおいて、DepGPT と GPT-3.5 Turbo、GPT-4、Alpaca LoRA 7B の比較性能はどうか？

主な発見

• DepGPT はゼロショット/ few-shot 設定で近似完璧な精度 0.9796 と F1 スコア 0.9804 を達成した。
• SahajBERT と FastText 埋め込みを用いた Bi-LSTM は、それぞれのドメインで高い性能を示した。
• GPT-3.5 Turbo と Alpaca LoRA 7B は競合したが、ゼロショット/ few-shot の状況では一般に DepGPT より劣っていた。
• 本研究は、DL、PLMs、LLMs にまたがるベンガル語の鬱テキストを評価するためのアーキテクチャの詳細と手法を提供し、トランスフォーマーの説明可能性の懸念に対処している。