[論文レビュー] Early Risk Detection of Pathological Gambling, Self-Harm and Depression Using BERT

Ana-Maria Bucur, Adrian Cosma+1 more|arXiv (Cornell University)|Jun 30, 2021

Mental Health via Writing参考文献 33被引用数 17

ひとこと要約

本論文では、Redditからのソーシャルメディア投稿テキストを用いて、病的なギャンブル、自傷行動、抑うつ症状の重症度に関する早期リスク検出のためのBERTベースのアプローチを提示している。対照的学習を活用してユーザー投稿とアンケート回答を整合させるように微調整されたBERTモデルを用いることで、BLUEチームは、タスク3（抑うつ症状の重症度）において最先端の性能を達成し、30.36%のAHRスコアを記録した。これは、弱教師あり精神保健スクリーニングにおける意味的類似度学習の有効性を示している。

ABSTRACT

Early risk detection of mental illnesses has a massive positive impact upon the well-being of people. The eRisk workshop has been at the forefront of enabling interdisciplinary research in developing computational methods to automatically estimate early risk factors for mental issues such as depression, self-harm, anorexia and pathological gambling. In this paper, we present the contributions of the BLUE team in the 2021 edition of the workshop, in which we tackle the problems of early detection of gambling addiction, self-harm and estimating depression severity from social media posts. We employ pre-trained BERT transformers and data crawled automatically from mental health subreddits and obtain reasonable results on all three tasks.

研究の動機と目的

• ソーシャルメディアテキストを用いた精神的健康リスクの早期検出のための計算手法の開発。
• 精神保健NLPにおけるラベル付きデータの限界に直面する課題を、トランスファー学習と弱教師あり学習を活用することで解決すること。
• ユーザー投稿と標準化されたアンケート回答との間の意味的類似度をモデル化することで、抑うつ症状の重症度推定を改善すること。
• 精神保健関連のサブレdditから得たデータ拡張を活用して、病的なギャンブルおよび自傷行動の検出を強化すること。
• スケーラブルで自動化されたリスクスクリーニングを可能にすることで、実世界の早期介入に貢献すること。

提案手法

• 21の質問に対してそれぞれ4つの回答選択肢があるベック抑うつ自叙検査（BDI）の回答分類を、微調整されたBERTモデルで行う。
• ユーザー投稿の埋め込みと回答テキストの埋め込みの間のドット積類似度を計算することで、対照的学習を実施し、意味的整合性を向上させる。
• 回答選択肢の予測と抑うつ症状の重症度スコア（軽度/軽度〜中等度/中等度〜重症度）の両方を同時に予測するマルチヘッドアーキテクチャを構築する。
• AdamW最適化手法を用い、分類タスクには0.0002、類似度学習タスクには0.00002の学習率を設定し、2エポック分トレーニングする。
• ギャンブルおよび自傷関連のRedditサブレdditをクローリングすることで、トレーニングデータを拡張し、モデルの汎化性能を向上させる。
• 推論段階では、個々の人物に対してすべてのユーザー投稿から確率が最大の回答を選択することで、ノイズやスパarsityのある入力に対応する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルは、非構造化されたソーシャルメディアテキストから病的なギャンブルの兆候を効果的に検出できるか？
• RQ2 ユーザー投稿と標準化されたアンケート回答との間の意味的類似度は、抑うつ症状の重症度推定をどのように改善するか？
• RQ3 ノイズが多く、スパースなデータを伴う弱教師あり精神保健リスク検出において、対照的学習は性能を向上させるか？
• RQ4 精神保健関連のサブレdditからのデータ拡張は、自傷行動およびギャンブル検出タスクにおけるモデル性能を向上させるか？
• RQ5 分類、統合予測、類似度学習といった、さまざまなBERT微調整戦略の中で、抑うつスクリーニングにおける相対的な性能はどのように異なるか？

主な発見

• 類似度学習アプローチ（ラン2）が、タスク3で最高の全体的性能を達成し、30.36%のAHRスコアを記録。純粋な分類法やアンサンブル手法を上回った。
• 最も優れたモデル（ラン2）は、75.42%のADODLスコアを達成し、正解との強い整合性を示した。
• アンサンブル手法（ラン3およびラン4）はわずかに結果を改善したが、単体の類似度学習モデルを上回ることはなかった。
• モデルはリソースが限られた環境でも頑健であり、自傷行動検出タスクで65.42%のACRおよび75.42%のADODLを達成した。
• Redditベースのデータ拡張を活用することで、モデルの汎化性能が向上し、特に病的なギャンブルおよび自傷行動検出において顕著だった。
• 対照的学習は、回答の表現形の意味的意味を活用することで、性能を顕著に向上させた。ノイズが多い環境下では、標準的な分類手法よりも効果的であることが示された。