[論文レビュー] Detection and Classification of mental illnesses on social media using RoBERTa

Ankit Murarka, Balaji Radhakrishnan+1 more|arXiv (Cornell University)|Nov 23, 2020

Mental Health via Writing被引用数 35

ひとこと要約

この論文は、RoBERTa-based マルチクラス分類器を用いて Reddit 投稿から five mental illnesses (depression, anxiety, bipolar, ADHD, PTSD) および None クラスを検出・分類し、新しいデータセットと行動テストを導入します。

ABSTRACT

Given the current social distancing regulations across the world, social media has become the primary mode of communication for most people. This has resulted in the isolation of many people suffering from mental illnesses who are unable to receive assistance in person. They have increasingly turned to social media to express themselves and to look for guidance in dealing with their illnesses. Keeping this in mind, we propose a solution to detect and classify mental illness posts on social media thereby enabling users to seek appropriate help. In this work, we detect and classify five prominent kinds of mental illnesses: depression, anxiety, bipolar disorder, ADHD and PTSD by analyzing unstructured user data on social media platforms. In addition, we are sharing a new high-quality dataset to drive research on this topic. We believe that our work is the first multi-class model that uses a Transformer-based architecture such as RoBERTa to analyze people's emotions and psychology. We also demonstrate how we stress-test our model using behavioral testing. With this research, we hope to be able to contribute to the public health system by automating some of the detection and classification process.

研究の動機と目的

• 社会的距離を置く状況で公衆衛生を支援するためのソーシャルメディアにおける精神疾患の自動検出を動機づける。
• 精神疾患と None クラスを含む Reddit 投稿から高品質でラベル付きのデータセットを作成する。
• マルチクラス精神疾患分類のために RoBERTa、BERT の transformer ベースの分類器を LSTM のベースラインと比較する。
• モデルの頑健性を行動テストとクラス別のパフォーマンス分析を通じて示す。

提案手法

• 5つの精神疾患と None クラスに投稿（およびタイトル）をラベル付けするマルチクラス RoBERTa分類器を構築する。
• RoBERTa を LSTM および BERT のベースラインと比較して性能向上を確立する。
• 投稿、タイトル、投稿タイトルペアをそれぞれ512語・35語トークンのシーケンス長で fine-tune する。
• 精度、再現率、F1、正確性で評価し、クラス別のパフォーマンスと混同行列のパターンを分析する。
• 入力 perturbation に対するモデルの頑健性を評価するために同義語置換、マスキングなどの行動テストを実施する。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディアの投稿において RoBERTaベースのモデルはうつ病、不安障害、双極性障害、ADHD、PTSD、および None を正確に検出し区別できるか？
• RQ2 このマルチクラスの精神疾患分類タスクで RoBERTa は LSTM および BERT のベースラインとどう比較されるか？
• RQ3 分類性能において投稿のみ、タイトルのみ、または両方を使用することの影響は何か？
• RQ4 入力 perturbation およびラベル関連 perturbations（行動テスト）に対する RoBERTa モデルの頑健性はどの程度か？

主な発見

• RoBERTa は LSTM を上回り、BERT に近いパフォーマンスを示し、特に投稿＋タイトル入力を使用した場合に F1 および精度が高い。
• 最良の構成で、投稿で F1 は 0.86、投稿＋タイトルで 0.89 を達成した。
• None クラスは高い正確さで検出される（F1 > 0.97）— タイトルのみからでも非疾病投稿の偽陽性が低いことを示す。
• ADHD と PTSD は診断群の中で最も良く機能する部類で、抑うつ感（Depression）と不安障害（Anxiety）はデータの特徴とラベル混同行のため相対的に弱い。
• 行動テストではモデルがクラスラベルの根本形に部分的に依存していることを示すが、同義語置換やマスキングの撹乱下でも合理的な性能を維持している。