[論文レビュー] A Quantitative and Qualitative Analysis of Suicide Ideation Detection using Deep Learning

Siqu Long, Rina Carines Cabral+2 more|arXiv (Cornell University)|Jun 17, 2022

Mental Health via Writing被引用数 4

ひとこと要約

本研究では、多様な入力埋め込みと事前学習済み言語モデルを用いて、複数の自殺的思考検出データセット上で最先端の深層学習モデル（RNN、CNN、アテンションベースのネットワーク）を再現および評価する。モデルの性能はデータセットの品質に強く依存しており、特に文脈が豊富な大規模データセットでは、RoBERTa などの事前学習モデルが従来のアーキテクチャを上回ることが判明。また、ソーシャルメディアのテキストからの自殺リスク検出において、データ品質と文脈理解の重要性が強調されている。

ABSTRACT

For preventing youth suicide, social media platforms have received much attention from researchers. A few researches apply machine learning, or deep learning-based text classification approaches to classify social media posts containing suicidality risk. This paper replicated competitive social media-based suicidality detection/prediction models. We evaluated the feasibility of detecting suicidal ideation using multiple datasets and different state-of-the-art deep learning models, RNN-, CNN-, and Attention-based models. Using two suicidality evaluation datasets, we evaluated 28 combinations of 7 input embeddings with 4 commonly used deep learning models and 5 pretrained language models in quantitative and qualitative ways. Our replication study confirms that deep learning works well for social media-based suicidality detection in general, but it highly depends on the dataset's quality.

研究の動機と目的

• ソーシャルメディアにおける再現可能で一般化可能な自殺的思考検出モデルの不足を解消するため、競争的な既存手法を再現すること。
• RNN、CNN、アテンションベースのネットワークを含む多様な深層学習モデルの性能を、複数の公開済み自殺的傾向データセットで評価すること。
• テキスト特徴量の影響を隔離するため、テキスト埋め込みのみを使用した結果と、マルチモーダルまたは特徴統合型アプローチの結果を比較すること。
• 全コードと詳細なハイパーパramータ設定を公開することで、研究の透明性を高め、再現およびさらなる開発を可能にすること。
• 埋め込みタイプ、深層学習アーキテクチャ、事前学習言語モデルの包括的比較分析を、自殺的傾向検出タスクに対して提供すること。

提案手法

• 本研究では、2種類の異なる自殺的傾向検出データセットを用いる：キーワードマッチングと投稿レベルのラベル付けに基づく「自殺関連ツイートデータセット」と、ユーザーレベルのリスクラベルに基づく「UMD Reddit 自殺的傾向データセット」（投稿レベルのラベルではない）。
• 7種類の入力埋め込み（例：単語、文字、文書、ハイブリッド）と4種類の従来の深層学習モデル（Bi-LSTM、CNN、GRU、アテンションベースのモデル）の組み合わせを28通り評価する。
• さらに、BERT や RoBERTa を含む5種類の事前学習言語モデルを、両方のデータセットで評価し、ベースラインモデルや従来のアーキテクチャと性能を比較する。
• 分類評価指標（正確度、F1スコア、AUC）を用い、モデル予測を解釈するための確率ヒートマップ（ソフトマックス層出力）を含む定性的ケーススタディも実施する。
• 5分割交差検証と80-20のトレーニング・テスト分割を用い、UMD Reddit データセットのラベル分布が保たれるように割合抽出を行う。
• 全実験のための完全なコードと詳細なハイパーパramータ設定を公開することで、再現性を重視する。

実験結果

リサーチクエスチョン

• RQ1 RNN、CNN、アテンションベースのアーキテクチャといった異なる深層学習アーキテクチャは、複数のデータセットで自殺的思考検出に対してどのように性能を示すか？
• RQ2 単語、文字、文書、ハイブリッドなど、さまざまな入力埋め込みは、自殺的傾向検出におけるモデル性能にどのような影響を与えるか？
• RQ3 BERT や RoBERTa などの事前学習言語モデルは、従来の深層学習モデルやベースライン分類器と比較して、自殺的思考検出においてどのように性能を示すか？
• RQ4 データセットの品質とラベル付け戦略（投稿レベル vs. ユーザーレベル）は、モデルの性能と一般化能力にどの程度影響を与えるか？
• RQ5 予測確率の定性的分析は、曖昧または文脈依存的なケースにおいて、モデルの推論パターンを明らかにできるか？

主な発見

• 自殺関連ツイートデータセットでは、組み合わせた文字+文書埋め込みを用いたアテンションベースのモデルが最高の正確度を示したが、従来のモデルは埋め込みタイプに関係なく一貫した性能を示した。
• UMD Reddit 自殺的傾向データセットでは、RoBERTa が全モデルの中で最も優れた性能を示し、正確度が45%〜60%の範囲に収まった。ベースラインモデルを著しく上回った。
• 従来の深層学習モデル（例：Bi-LSTM、CNN）の性能は、埋め込みタイプに強く依存しており、文書埋め込みでは正確度が最低、ハイブリッド埋め込みでは最高となった。
• ベースラインモデル（Rotation Forest と SVM）は Reddit データセットで性能が低く、特に臨床的でない文脈で「死んだ」といった自殺関連キーワードが使われた場合に悪影響を受けていた。例：「Keg of Franziskaner is dead」
• RoBERTa は「死んだ」という語を含んでも「リスクなし」と正しく分類した。これは、単純なモデルとは異なり、文脈理解を活用できることを示している。
• 本研究は、十分で高品質なデータ、特に関心の対象となる特定のクラスに十分なデータが用意されていなければ、深層学習モデルが自殺的思考検出に有効でないことを確認した。