[論文レビュー] Calibration of Transformer-based Models for Identifying Stress and Depression in Social Media

Loukas Ilias, Spiros Mouzakitis+1 more|arXiv (Cornell University)|May 26, 2023

Mental Health via Writing被引用数 4

ひとこと要約

本稿では、BERTおよびMentalBERTに言語的特徴（LIWC、NRC、LDAトピック（GOSS）、Top2Vec）をマルチモーダル適応ゲートを介して統合することで、ソーシャルメディアにおけるストレスおよびうつ病の検出を向上させる新規手法を提案する。さらに、モデルのキャリブレーションを向上させるためにラベルスムージングを適用する。結果として、特にLIWCおよびGOSS特徴の統合で顕著な性能向上が得られ、ラベルスムージングは3つのデータセット全体で精度とキャリブレーションの両方を向上させる。

ABSTRACT

In today's fast-paced world, the rates of stress and depression present a surge. Social media provide assistance for the early detection of mental health conditions. Existing methods mainly introduce feature extraction approaches and train shallow machine learning classifiers. Other researches use deep neural networks or transformers. Despite the fact that transformer-based models achieve noticeable improvements, they cannot often capture rich factual knowledge. Although there have been proposed a number of studies aiming to enhance the pretrained transformer-based models with extra information or additional modalities, no prior work has exploited these modifications for detecting stress and depression through social media. In addition, although the reliability of a machine learning model's confidence in its predictions is critical for high-risk applications, there is no prior work taken into consideration the model calibration. To resolve the above issues, we present the first study in the task of depression and stress detection in social media, which injects extra linguistic information in transformer-based models, namely BERT and MentalBERT. Specifically, the proposed approach employs a Multimodal Adaptation Gate for creating the combined embeddings, which are given as input to a BERT (or MentalBERT) model. For taking into account the model calibration, we apply label smoothing. We test our proposed approaches in three publicly available datasets and demonstrate that the integration of linguistic features into transformer-based models presents a surge in the performance. Also, the usage of label smoothing contributes to both the improvement of the model's performance and the calibration of the model. We finally perform a linguistic analysis of the posts and show differences in language between stressful and non-stressful texts, as well as depressive and non-depressive posts.

研究の動機と目的

• 精神的健康検出モデルにおける信頼性の低い予測確率の推定を是正するため、ラベルスムージングによるモデルキャリブレーションを導入すること。
• 変換器ベースのモデル（BERT、MentalBERT）に外部の言語的特徴を統合することで、ソーシャルメディアにおけるストレスおよびうつ病の検出を向上させること。
• 言語的特徴分析を通じて、ストレス・うつ病ありとありなしの投稿の間の言語的差異を解明すること。
• Global Outlier Standard Score（GOSS）を用いて、うつ病・ストレス検出におけるトピック関心を捉える方法を検討すること。
• 学習可能なアテンション重みを有するマルチモーダル適応ゲートを用いて、変換器と言語的特徴の動的融合を実現するマルチモーダル融合機構の開発

提案手法

• 各ソーシャルメディア投稿に対して、LIWC、NRC感情ラベルキーワード、Top2Vec埋め込み、LDAベースのGOSS特徴を複数抽出する。
• 学習可能な線形変換を用いて、すべての言語的特徴をBERT/MentalBERTの出力と同じ埋め込み空間に射影する。
• 射影された言語的特徴を、BERT/MentalBERTの[CLS]トークン表現と連結して、統合入力を構築する。
• 学習可能なアテンション重みを有するマルチモーダル適応ゲートを適用し、変換器と言語的特徴の両モodalの寄与度を動的に制御する。
• 分類性能と予測キャリブレーションの両方を向上させるために、ラベルスムージングを用いて統合モデルを微調整する。
• 期待キャリブレーション誤差（ECE）およびアダプティブキャリブレーション誤差（Adaptive ECE）を用いて、モデルのキャリブレーションを評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTおよびMentalBERTに言語的特徴を統合することで、ソーシャルメディアのテキストにおけるストレスおよびうつ病の検出が向上するか？
• RQ2 ラベルスムージングは、精神的健康検出における変換器ベースのモデルの分類性能とキャリブレーションの両方を向上させるか？
• RQ3 LIWC、NRC、GOSSなどの言語的特徴タイプのうち、モデル性能向上に最も寄与するのはどれか？
• RQ4 うつ病・ストレスありの投稿とありなしの投稿の言語的パターンには、どのような相違があるか？
• RQ5 シンプルな連結処理と比較して、マルチモーダル適応ゲートは特徴統合をどの程度効果的に向上させるか？

主な発見

• ラベルスムージングを適用したLIWC特徴のMentalBERTへの統合により、標準的なMentalBERTと比較してF1スコアが3.36%向上し、ラベルスムージングなしのM-MentalBERT（LIWC）と比較しても0.63%向上した。
• BERTにTop2Vec特徴を統合し、ラベルスムージングを適用した場合、Depression_Mixedデータセットで最高のF1スコアと精度を達成した。
• Dreadditデータセットでは、ラベルスムージングを適用したLIWC特徴の統合が、すべての設定で最高のF1スコアと精度を達成した。
• Depression_Severityデータセットでは、NRC特徴をBERTに、GOSS特徴をMentalBERTに統合した場合、最高の加重F1スコアを達成した。
• 言語的分析から、うつ病・ストレスありの投稿と特定のLIWCカテゴリー（否定的感情、認知プロセスなど）との強い相関が明らかになった。
• ラベルスムージングは、すべてのデータセットで期待キャリブレーション誤差（ECE）およびアダプティブキャリブレーション誤差（Adaptive ECE）の低下により、モデルキャリブレーションの向上が顕著に見られた。