[論文レビュー] An Assessment on Comprehending Mental Health through Large Language Models

Mihael Arčan, Paul-David Niland+1 more|arXiv (Cornell University)|Jan 9, 2024

Mental Health via Writing被引用数 4

ひとこと要約

本研究では、DAIC-WOZデータセットを用いて、Llama-2 や ChatGPT などの大規模言語モデル（LLM）と、古典的なトランスフォーマー・モデル（例：Distil-RoBERTa、BERT）を比較し、精神的健康状態の兆候を検出する能力を評価している。規模が大きくても、LLMは微調整済みの小型トランスフォーマー・モデルに比べて性能が劣っており、特にGADおよびPHQの質問セットにおいて、Distil-RoBERTa が精度、再現率、F1スコアの観点で最高のパフォーマンスを示した。

ABSTRACT

Mental health challenges pose considerable global burdens on individuals and communities. Recent data indicates that more than 20% of adults may encounter at least one mental disorder in their lifetime. On the one hand, the advancements in large language models have facilitated diverse applications, yet a significant research gap persists in understanding and enhancing the potential of large language models within the domain of mental health. On the other hand, across various applications, an outstanding question involves the capacity of large language models to comprehend expressions of human mental health conditions in natural language. This study presents an initial evaluation of large language models in addressing this gap. Due to this, we compare the performance of Llama-2 and ChatGPT with classical Machine as well as Deep learning models. Our results on the DAIC-WOZ dataset show that transformer-based models, like BERT or XLNet, outperform the large language models.

研究の動機と目的

• 自然言語からの精神的健康状態の理解と検出における、Llama-2 や ChatGPT などの大規模言語モデル（LLM）の能力を評価すること。
• 特に微調整済みのトランスフォーマー・アーキテクチャを含む、古典的機械学習およびディープラーニング・モデルと比較して、LLMの精神的健康状態検出におけるパフォーマンスを評価すること。
• プロンプト戦略が、GAD-1、GAD-2、PHQ-1、PHQ-2 の精神的健康質問セットにおけるLLMのパフォーマンスを向上させるかどうかを調査すること。
• 特に誤診断や有害な助言のリスクが高いため、感受性の高い精神的健康データに適用された際の、LLMにおける主なパフォーマンスのギャップやバイアスを特定すること。
• AIツールの精神的健康分野における今後の開発のための実証的ベンチマークを提供すること。特に、モデルの適応化とバイアス低減の必要性を強調すること。

提案手法

• BERT、RoBERTa、XLNet、Distil-RoBERTa などの微調整済みトランスフォーマー・モデルを、DAIC-WOZデータセット上で精神的健康状態検出のための訓練および評価した。
• 大規模言語モデル（LLM）のLlama-2 および ChatGPT は、複数の戦略（例：Few-shot prompting、Zero-shot prompting）を用いて、臨床的対話トランスクリプトからの症状分類にプロンプトを適用した。
• モデルのパフォーマンスは、標準的な自然言語処理（NLP）指標（重み付き精度、再現率、F1スコア、ハミング損失、AUC-ROC）を用いて評価した。
• XGBoost を強力なベースラインとして採用し、手動で特徴を抽出した上で勾配ブースティングを適用することで、ディープラーニングおよびLLMアプローチと比較した。
• 本研究では、LLMにゼロショットおよびフェイントショットのプロンプトフレームワークを採用し、精神的健康状態検出におけるフェイントショット一般化能力を評価した。
• すべてのモデルは、PHQ-4スケールを基準として、4つの精神的健康質問セット（GAD-1、GAD-2（一般性不安障害）、PHQ-1、PHQ-2（抑うつ症状））に対して評価された。

実験結果

リサーチクエスチョン

• RQ1 Llama-2 や ChatGPT などの大規模言語モデル（LLM）は、微調整を行わず、臨床的対話トランスクリプトからの精神的健康状態の兆候を効果的に検出できるか？
• RQ2 LLMは、微調整済みの小型トランスフォーマー・モデル（例：Distil-RoBERTa、BERT）と比較して、精神的健康状態検出タスクにおいてどの程度のパフォーマンスを示すか？
• RQ3 標準的な微調整と比較して、プロンプト戦略がLLMの精神的健康分類タスクにおけるパフォーマンスを顕著に向上させるか？
• RQ4 ハミング損失およびAUC-ROCの観点から、XGBoostおよびディープラーニング・モデルとLLMの相対的なパフォーマンスはどの程度か？
• RQ5 特に精神的健康データの感受性を鑑みれば、LLMは不安および抑うつ症状の検出において、どの程度バイアスや一貫性の欠如を示すか？

主な発見

• Distil-RoBERTa は、GAD-2 問題セットで最高の重み付きF1スコア0.68、PHQ-2 で0.62を達成し、Llama-2 や ChatGPT を含むすべてのモデルを上回った。
• ChatGPT 3.5 は Llama-2 (v3) よりわずかな優位性を示し、PHQ-2 でF1スコア0.53（Llama-2 では0.49）を記録し、GAD-2 でAUC-ROCが0.77（Llama-2 では0.70）と優れた結果を示した。
• Llama-2 (v3) はすべての指標で劣悪なパフォーマンスを示し、GAD-2 で重み付きF1スコアがわずか0.33、PHQ-2 で0.30にとどまり、精神的健康タスクにおけるゼロショット一般化能力が著しく低いことが示された。
• XGBoost はハミング損失において一貫してすべてのモデルを上回り、GAD-2 で0.31、PHQ-2 で0.47を記録し、マルチラベル分類において優れたパフォーマンスを示した。
• BERT、XLNet、RoBERTa などのトランスフォーマー基盤モデルは、すべての指標でLLMを大きく上回り、特にDistil-RoBERTa がパフォーマンスと効率のバランスが最も優れていた。
• 本研究では、LLMのパrameter数の増加が、精神的健康状態検出において優れたパフォーマンスに直結するとは限らないことが判明し、臨床的NLP分野におけるLLMの一般化能力に関する仮定に疑問を呈した。