[論文レビュー] Feature Studies to Inform the Classification of Depressive Symptoms from Twitter Data for Population Health

Danielle L. Mowery, Craig J. Bryan+1 more|arXiv (Cornell University)|Jan 28, 2017

Mental Health via Writing参考文献 14被引用数 23

ひとこと要約

本研究では、教師あり機械学習を用いてTwitterデータ内の抑うつ症状を分類するための特徴量セットの評価が行われた。その結果、たとえば疲労や抑うつ気分といった特定の症状に対しては、単純な語彙的特徴量（例：ユニグラム）や、小さな上位順特徴量のサブセットが、より大きな特徴量セットと同等の分類性能を達成できることを示した。これは、集団レベルのメンタルヘルス監視に向けた効率的なモデルの可能性を示唆している。

ABSTRACT

The utility of Twitter data as a medium to support population-level mental health monitoring is not well understood. In an effort to better understand the predictive power of supervised machine learning classifiers and the influence of feature sets for efficiently classifying depression-related tweets on a large-scale, we conducted two feature study experiments. In the first experiment, we assessed the contribution of feature groups such as lexical information (e.g., unigrams) and emotions (e.g., strongly negative) using a feature ablation study. In the second experiment, we determined the percentile of top ranked features that produced the optimal classification performance by applying a three-step feature elimination approach. In the first experiment, we observed that lexical features are critical for identifying depressive symptoms, specifically for depressed mood (-35 points) and for disturbed sleep (-43 points). In the second experiment, we observed that the optimal F1-score performance of top ranked features in percentiles variably ranged across classes e.g., fatigue or loss of energy (5th percentile, 288 features) to depressed mood (55th percentile, 3,168 features) suggesting there is no consistent count of features for predicting depressive-related tweets. We conclude that simple lexical features and reduced feature sets can produce comparable results to larger feature sets.

研究の動機と目的

• Twitterデータにおける抑うつ症状を分類するための、異なる特徴量グループの予測力を評価すること。
• 個々の抑うつ症状に対して分類性能を最大化する最適な上位順特徴量のサブセットを特定すること。
• 効率的で高性能な特徴量セットを同定することで、スケーラブルな集団レベルのメンタルヘルス監視を支援すること。
• 語彙的、感情的、センチメント、人口統計的、パーソナリティに基づく特徴量の貢献度を、抑うつ症状の区別に与える影響を評価すること。
• ソーシャルメディアデータを用いたリアルタイムで大規模なメンタルヘルス監視システムの設計を支援すること。

提案手法

• F1スコアへの影響を測定するために、個々の特徴量グループ（例：語彙的、感情的、センチメント）を削除する特徴量のアブレーションスタディを実施した。
• 各抑うつ症状クラスに対して最適な上位順特徴量のパーセンタイルを特定するため、3段階の特徴量削除アプローチを適用した。
• 階層的症状モデルに基づき、9つの抑うつ症状クラスにラベルが付与された、9,473件のツイートからなる事前ラベル付け済みのTwitterデータセットを用いた。
• 7つの特徴量グループ（語彙的（ユニグラム）、構文的（品詞タグ）、感情（絵文字）、人口統計的（年齢／性別）、センチメント（極性、主観性）、パーソナリティ特徴（神経質性）、LIWC特徴）を二値化した。
• F1スコア、精度、再現率を用いて評価した、さまざまな特徴量サブセットで訓練された教師あり分類器（SVM）の性能を評価した。
• 各症状クラスに対して、上位順特徴量のパーセンタイル（5%刻み）ごとに性能を評価し、各症状クラスで最適なF1スコアに達するポイントを同定した。

実験結果

リサーチクエスチョン

• RQ1 どの特徴量グループが、Twitterデータにおける抑うつ症状の分類に最も寄与しているか？
• RQ2 特定の特徴量グループを削除することで、異なる抑うつ症状クラスの分類性能にどのような影響が生じるか？
• RQ3 各抑うつ症状クラスで、F1スコアが最大に達する上位順特徴量のパーセンタイルは何か？
• RQ4 すべての抑うつ症状クラスに共通して最適な特徴量数やパーセンタイルが存在するか？
• RQ5 削減された特徴量セットは、ソーシャルメディアのテキストから抑うつ症状を分類する際、完全な特徴量セットと同等の性能を達成できるか？

主な発見

• 語彙的特徴量（ユニグラム）が最も重要な寄与を示した。特に、抑うつ気分（削除時、F1スコアが-35ポイント低下）や不眠（F1スコアが-43ポイント低下）の分類において顕著であった。
• 疲労やエネルギーの低下の分類では、最適なF1スコアが5パーセンタイル（288特徴量）で達成された。これは、非常に情報量の多い少数の特徴量で十分であることを示している。
• 抑うつ気分の分類では、F1スコアが55パーセンタイル（3,168特徴量）でピークに達した。これは、最適な性能を得るためにはより大きな特徴量セットが必要であることを示している。
• 抑うつ気分の分類において、F1スコアは1パーセンタイルから20パーセンタイルに達するまでに20ポイント向上した。これは、より多くの特徴量が追加されることで著しい性能向上が得られることを示している。
• 感情的、センチメント的、人口統計的特徴量は、不眠や疲労の分類に顕著な影響を及ぼしており、それらを削除するとF1スコアに顕著な低下が生じた。
• 「抑うつ的兆候」のピークF1スコアは30パーセンタイルで達成されたが、「抑うつ症状」は15パーセンタイルでピークに達した。これは、症状のレベルによって特徴量セットの要件が異なることを示している。