[論文レビュー] Towards Preemptive Detection of Depression and Anxiety in Twitter

David Owen, José Camacho-Collados+1 more|arXiv (Cornell University)|Nov 10, 2020

Mental Health via Writing参考文献 20被引用数 12

ひとこと要約

本稿では、二値ツイート分類を用いたうつ病および不安の検出を目的とした、TwitterベースのDATDというデータセットを紹介し、最先端の言語モデル（例：BERT、ALBERT）および従来の分類器（例：TF-IDFおよび単語埋め込みを用いたSVM）の評価を実施した。結果として、バランスの取れたデータでは事前学習済み言語モデルが従来手法を上回るが、クラス不均衡や直感に反する言語的キューが存在する場合、性能の差が顕著になることが明らかとなり、精神的健康検出システムにおける文脈理解の向上の必要性が強調された。

ABSTRACT

Depression and anxiety are psychiatric disorders that are observed in many areas of everyday life. For example, these disorders manifest themselves somewhat frequently in texts written by nondiagnosed users in social media. However, detecting users with these conditions is not a straightforward task as they may not explicitly talk about their mental state, and if they do, contextual cues such as immediacy must be taken into account. When available, linguistic flags pointing to probable anxiety or depression could be used by medical experts to write better guidelines and treatments. In this paper, we develop a dataset designed to foster research in depression and anxiety detection in Twitter, framing the detection task as a binary tweet classification problem. We then apply state-of-the-art classification models to this dataset, providing a competitive set of baselines alongside qualitative error analysis. Our results show that language models perform reasonably well, and better than more traditional baselines. Nonetheless, there is clear room for improvement, particularly with unbalanced training sets and in cases where seemingly obvious linguistic cues (keywords) are used counter-intuitively.

研究の動機と目的

• Twitter投稿におけるうつ病および不安の検出を目的とした、高品質で公開可能なデータセット（DATD）の開発。
• 本検出タスクにおける最先端の事前学習済み言語モデル（例：BERT、ALBERT）および従来の機械学習モデル（例：TF-IDFおよび単語埋め込みを用いたSVM）の性能評価。
• 特にクラス不均衡および直感に反する言語的キューに関する、現在のモデルの限界の特定。
• モデルの失敗に関する定性的な洞察を提供し、精神的健康検出システムにおける今後の改善を支援。

提案手法

• 2018年5月から2019年8月にかけて、TwitterのStream APIを用いて120万件の英語ツイートを収集した。
• 1,000件のツイートを専門家によるアノテーションを通じてDATDデータセットを構築し、うつ病／不安を示す（1）またはそうでない（0）とラベル付けした。アノテーター間一致性はFleiss’ kappa = 0.63で測定された。
• TF-IDF特徴量と事前学習済み単語埋め込み（GloVe）を組み合わせ、前処理を施した・しないSVM分類器に適用した。
• BERTおよびALBERTをDATDデータセット上で微調整し、Twitter特有のデータでのさらなる微調整なしに文脈表現を活用したエンドツーエンド分類を実施した。
• 2つの実験設定を実施：DATD（元の分割）およびDATD+Rand（ラベルをランダムにシャッフル）を用い、モデルの頑健性を評価した。
• 誤分類されたツイートの定性的な分析を実施し、皮肉や隐喩、肯定的語の非直感的使用といった、検出を回避する言語的パターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 BERTやALBERTといった事前学習済み言語モデルは、TF-IDFおよび単語埋め込みを用いたSVMなどの従来の分類器と比較して、Twitter投稿におけるうつ病および不安の検出においてどのように性能を発揮するか？
• RQ2 訓練データにおけるクラス不均衡は、異なる分類モデルの性能にどの程度影響を及えるか？
• RQ3 特に非直感的または比喩的表現を含む言語的パターンは、どのようなタイプがモデルの誤分類を引き起こすことが多いか？
• RQ4 なぜ一部のモデルは、世界知識や意味的理解を要する状況では他と異なり成功するのか？
• RQ5 誤分類例の定性的分析は、精神的健康検出における現在のモデルの体系的限界を明らかにできるか？

主な発見

• BERTはDATDデータセットでF1スコア0.737を達成し、Twitterデータへの微調整なしでも優れた性能を示した。
• DATD+Rand設定においてALBERTは最高のリcall（0.880）を記録し、不均衡な状況下でも陽性ケースへの感受性が高かった。
• TF-IDFと単語埋め込み特徴量を統合したSVMは、F1スコア0.750を達成し、単純なTF-IDFや単語埋め込みベースラインを上回った。
• ナイーブなベースライン（全ラベルを陽性と予測）は100％のリcallを達成したが、精度は50％、F1スコアは0.670にとどまり、クラス不均衡の課題を浮き彫りにした。
• 皮肉や比喩的表現（例："黄色のケースのスマホ持ってるけど、うつ病治るかもって期待してた"）を含む複数のツイートが、BERTおよびハイブリッド特徴量を用いたSVMを除き、すべてのモデルで誤分類された。これは、より深い意味的理解の必要性を示唆している。
• 定性的分析から、モデルは言語的キューが直感に反して使用されている場合（例：否定的文脈における肯定的語）にしばしば失敗することが判明した。また、唯一言語モデル（LM）が文脈的にニュアンスのある表現（例："これらのゲーム見てるね、まあストレスたまるよな。でもめっちゃいいじゃん"）を正しく解釈していた。