[論文レビュー] Data Quality Matters: Suicide Intention Detection on Social Media Posts Using RoBERTa-CNN

Emily Lın, Jian Sun+2 more|arXiv (Cornell University)|Feb 3, 2024

Mental Health via WritingPsychology被引用数 3

ひとこと要約

この論文では、ソーシャルメディア投稿における自殺意思検出（SID）のためのRoBERTa-CNNモデルを提案する。RoBERTaの文脈的理解とCNNの局所的パターン抽出を組み合わせることで、SDDデータセットで平均98%の精度と97.5%を超えるAUCを達成した。研究では、データ品質が重要な要因であることを強調し、GPTベースのクリーニングを用いて性能を向上させた。

ABSTRACT

Suicide remains a pressing global health concern, necessitating innovative approaches for early detection and intervention. This paper focuses on identifying suicidal intentions in posts from the SuicideWatch subreddit by proposing a novel deep-learning approach that utilizes the state-of-the-art RoBERTa-CNN model. The robustly Optimized BERT Pretraining Approach (RoBERTa) excels at capturing textual nuances and forming semantic relationships within the text. The remaining Convolutional Neural Network (CNN) head enhances RoBERTa's capacity to discern critical patterns from extensive datasets. To evaluate RoBERTa-CNN, we conducted experiments on the Suicide and Depression Detection dataset, yielding promising results. For instance, RoBERTa-CNN achieves a mean accuracy of 98% with a standard deviation (STD) of 0.0009. Additionally, we found that data quality significantly impacts the training of a robust model. To improve data quality, we removed noise from the text data while preserving its contextual content through either manually cleaning or utilizing the OpenAI API.

研究の動機と目的

• ソーシャルメディアのテキストを用いた早期の自殺意思検出のための強固なNLPモデルの開発を目的とする。
• RoBERTaとCNNヘッドを統合することで、パターン認識を強化し、既存の手法を改善することを目的とする。
• データ品質が自殺検出タスクにおけるモデル性能に与える影響を調査することを目的とする。
• SDDデータセットにおける最適なハイパーパrameter、特にシーケンス長（Max_Len）を特定することを目的とする。
• GPTベースのデータクリーニングがモデルの汎化性能と精度を向上させる有効性を示すこと。

提案手法

• テキスト内の意味的・文法的関係を捉えるために、微調整されたRoBERTaを文脈エンコーダーとして使用した。
• 局所的な言語的パターンを抽出し、特徴学習を強化するために、畳み込みニューラルネットワーク（CNN）ヘッドを追加した。
• 客観的かつ再現可能なかつての評価を確保するため、5分割交差検証を用いた導電的学習設定を採用した。
• 64、128、256トークンの3つの値でアブレーションスタディを実施し、入力シーケンス長（Max_Len）を最適化した。
• SDDデータセットの前処理を向上させるために、GPT APIを用いてデータクリーニングを実施した。
• 標準的なNLP指標（精度、適合率、再現率、F1スコア、AUC）を用いて、RoBERTa-CNNモデルの訓練と評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 RoBERTa-CNNモデルは、ソーシャルメディアのテキストにおける自殺意思検出で、既存の最先端モデルを上回ることができるか？
• RQ2 データ品質は、自殺検出タスクにおけるディープラーニングモデルの性能にどのように影響するか？
• RQ3 SDDデータセットにおけるRoBERTa-CNNモデルの最適な入力シーケンス長（Max_Len）は何か？
• RQ4 GPTベースのデータクリーニングは、自殺意思検出におけるモデルの頑健性と精度をどの程度向上させるか？
• RQ5 RoBERTaとCNNの統合は、自殺投稿における微細な言語的手がかりを検出するモデルの能力をどのように向上させるか？

主な発見

• RoBERTa-CNNモデルは、SDDデータセットで平均テスト精度98.00% ± 0.09%を達成し、標準偏差はわずか0.0009であった。
• テストセットにおける平均AUCは97.63% ± 0.13%に達し、優れた識別性能を示した。
• アブレーションスタディの結果、Max_Len = 256が最高の精度（98.00%）と最も安定した適合率を示した。
• データ品質が重要な要因であることが判明し、GPTベースのクリーニングがモデル性能を顕著に向上させた。
• RoBERTa-CNNは、同じデータセットで比較的優れたモデルであるCNN-BiLSTMやXGBoostを上回った。
• F1スコアはテストセットで96.81% ± 0.14%、再現率は96.64% ± 0.30%を示し、多様な指標において頑健な性能を示した。