[論文レビュー] Mental Illness Classification on Social Media Texts using Deep Learning and Transfer Learning

Iqra Ameer, Muhammad Arif+3 more|arXiv (Cornell University)|Jul 3, 2022

Mental Health via Writing被引用数 28

ひとこと要約

本論文はReddit投稿における多クラスの精神疾患検出について、従来の機械学習、ディープラーニング、および転移学習モデルを比較し、RoBERTaを転移学習アプローチの中で最良とし精度0.83を報告している。Bi-LSTMもDL手法の中で高い性能を示している。

ABSTRACT

Given the current social distance restrictions across the world, most individuals now use social media as their major medium of communication. Millions of people suffering from mental diseases have been isolated due to this, and they are unable to get help in person. They have become more reliant on online venues to express themselves and seek advice on dealing with their mental disorders. According to the World health organization (WHO), approximately 450 million people are affected. Mental illnesses, such as depression, anxiety, etc., are immensely common and have affected an individuals' physical health. Recently Artificial Intelligence (AI) methods have been presented to help mental health providers, including psychiatrists and psychologists, in decision making based on patients' authentic information (e.g., medical records, behavioral data, social media utilization, etc.). AI innovations have demonstrated predominant execution in numerous real-world applications broadening from computer vision to healthcare. This study analyzes unstructured user data on the Reddit platform and classifies five common mental illnesses: depression, anxiety, bipolar disorder, ADHD, and PTSD. We trained traditional machine learning, deep learning, and transfer learning multi-class models to detect mental disorders of individuals. This effort will benefit the public health system by automating the detection process and informing appropriate authorities about people who require emergency assistance.

研究の動機と目的

• COVID-19とソーシャルディスタンスの間のオンラインコミュニケーション増加に伴い、社会的データを用いた自動的な精神保健スクリーニングを動機づける。
• Reddit投稿から5つの精神疾患とNoneクラスを検出する可能性を調査する。
• 標準化されたRedditデータセット上で伝統的機械学習、深層学習、および転移学習アプローチを比較する。
• 短文投稿から抑うつ・不安の検出におけるクラス別性能を評価し、課題を分析する。

提案手法

• TF-IDFの語彙n-gramを長さ3まで含む4つの伝統的ML分類器を適用する。
• GRU、Bi-GRU、CNN、LSTM、Bi-LSTMを含む深層学習モデルを評価する。
• データセット上で事前学習済みトランスフォーマーモデルBERT、XLNet、RoBERTaをファインチューニングする。
• 多クラス分類の主要な転移学習アプローチとして事前学習済みRoBERTaベースモデルを使用する。
• 評価にはtrain/dev/test分割を含む16,930件のRedditデータセットを使用する。

Figure 1: Mental Illness Dataset Statistics

実験結果

リサーチクエスチョン

• RQ1 伝統的なML手法によるn-gram特徴はRedditの精神疾患分類で競争力のある精度を達成できるか。
• RQ2 このタスクで深層学習モデルは伝統的MLを上回るか。
• RQ3 転移学習モデル（BERT、XLNet、RoBERTa）はRedditにおける多クラス精神疾患検出でどのモデルが最も良い性能を示すか。
• RQ4 Noneクラスの識別はどれくらい正確で、疾患クラス間でどんな誤りが一般的か。

主な発見

モデル	精度	F1スコア
LinearSVC	0.79	0.80
LR	0.79	0.80
NB	0.74	0.75
RF	0.75	0.76
GRU	0.62	0.64
Bi-GRU	0.63	0.65
CNN	0.64	0.65
LSTM	0.76	0.77
Bi-LSTM	0.78	0.79
BERT	0.78	0.80
XLNet	0.79	0.80
RoBERTa	0.83	0.83

• RoBERTaは検証されたモデルの中で全体精度0.83およびF1スコア0.83を最大に達成した。
• XLNetはRoBERTaに近く、精度0.79、F1スコア0.80。
• Bi-LSTMは深層学習モデルの中で最も高い性能を示し、精度0.78、F1スコア0.79。
• 語彙1–3-gramsを用いた伝統的MLは精度0.78、F1スコア0.67を達成し、競争力のある性能を示した。
• RoBERTaのクラス別結果はNoneクラスで非常に高い性能（F1 0.98）を示し、疾患クラス間ではADHDとPTSDがうつ病・不安より高いF1を示す notable variation。
• RoBERTaはNoneクラス投稿を高精度・高再現率で正しく識別でき、非疾病コンテンツの偽陽性が低いことを示唆する。

Figure 2: RoBERTa confusion matrix