[論文レビュー] See and Read: Detecting Depression Symptoms in Higher Education Students Using Multimodal Social Media Data

Paulo Mann, Aline Paes+1 more|arXiv (Cornell University)|Dec 3, 2019

Mental Health via Writing被引用数 4

ひとこと要約

本研究では、Instagram投稿のテキストキャプションと画像を組み合わせることで、高等教育機関に通う学生の重度のうつ病症状を検出するマルチモーダル機械学習手法を提案する。ディープラーニング（ELMo + ResNet-34）と特徴工学モデルを用い、最良の統合モデルは、ベックうつ病尺度（BDI）スコアが20以上である学生を識別する際、0.92のリCALLと0.69のプレシジョンを達成した。これは、ソーシャルメディアデータを用いた受動的でスケーラブルなスクリーニングの可能性を示している。

ABSTRACT

Mental disorders such as depression and anxiety have been increasing at alarming rates in the worldwide population. Notably, the major depressive disorder has become a common problem among higher education students, aggravated, and maybe even occasioned, by the academic pressures they must face. While the reasons for this alarming situation remain unclear (although widely investigated), the student already facing this problem must receive treatment. To that, it is first necessary to screen the symptoms. The traditional way for that is relying on clinical consultations or answering questionnaires. However, nowadays, the data shared at social media is a ubiquitous source that can be used to detect the depression symptoms even when the student is not able to afford or search for professional care. Previous works have already relied on social media data to detect depression on the general population, usually focusing on either posted images or texts or relying on metadata. In this work, we focus on detecting the severity of the depression symptoms in higher education students, by comparing deep learning to feature engineering models induced from both the pictures and their captions posted on Instagram. The experimental results show that students presenting a BDI score higher or equal than 20 can be detected with 0.92 of recall and 0.69 of precision in the best case, reached by a fusion model. Our findings show the potential of large-scale depression screening, which could shed light upon students at-risk.

研究の動機と目的

• ソーシャルメディアデータを用いた、高等教育機関に通う学生における重度のうつ病症状をスケーラブルかつ受動的に検出する手法の開発。
• マルチモーダルなInstagramコンテンツ（テキストと画像）からうつ病の重症度を分類する際、ディープラーニングと特徴工学モデルの有効性を比較すること。
• テキストと画像の特徴を統合することで、単一モダリティのアプローチよりも検出性能が向上するかを評価すること。
• 特に、臨床的ケアを受けることを希望しない学生にとっても、公開可能なソーシャルメディアデータを臨床的スクリーニングの代理として使用する可能性を検討すること。
• ユーザー生成コンテンツの自動的・非侵襲的な分析により、リスクにさらされた学生を特定することで、早期介入を支援すること。

提案手法

• ブラジルの大規模な大学に通う高等教育機関の学生から、Instagram投稿（画像とキャプション）を収集した。
• ベックうつ病尺度（BDI）のポルトガル語翻訳を基準として用い、スコアが20以上は重度のうつ病を示すとみなした。
• 3つのディープラーニングモデルを訓練した：テキストのみ（ELMo）、画像のみ（ResNet-34）、マルチモーダル統合（ELMoとResNet-34の特徴を連結）。
• 3つの特徴工学モデルを訓練した：テキストのみ（TF-IDF + 感情分析特徴）、画像のみ（事前に定義された視覚的記述子）、マルチモーダル統合（特徴を連結）。
• 精度、リCALL、F1スコアを用いてモデルを評価し、統計的有意性はマクネマー検定で評価した。
• マルチモーダル学習における解釈可能性と性能の向上を図るため、アテンション機構とトランスファー学習を採用した。

実験結果

リサーチクエスチョン

• RQ1 Instagramの画像とキャプションのマルチモーダル分析は、大学生における重度のうつ病症状を効果的に検出できるか？
• RQ2 マルチモーダルソーシャルメディアデータからのうつ病検出において、ディープラーニングモデルの性能は、従来の特徴工学モデルと比べてどうか？
• RQ3 テキストと画像の特徴を統合することで、単一モダリティのモデルに比べて検出精度が向上するか？
• RQ4 本研究の文脈において、テキスト的特徴と視覚的特徴の相対的な寄与度は何か？
• RQ5 臨床的ケアへのアクセスが限られている集団において、ソーシャルメディアデータを用いた受動的で自動化されたスクリーニングが、早期発見の代替手段として実現可能か？

主な発見

• 最も優れた性能を示したモデルは、ELMoとResNet-34の特徴を統合したディープラーニングマルチモーダル分類器であり、BDIスコアが20以上の学生を識別する際、0.92のリCALLと0.69のプレシジョンを達成した。
• ディープラーニングおよび特徴工学の両アプローチにおいて、テキストのみのモデルが画像のみのモデルを上回った。これは、本研究の文脈において、テキストコンテンツがうつ病検出により情報を与えていることを示唆している。
• 特徴工学モデルでは、視覚的およびテキスト的特徴を連結することで性能が低下した。これは、モダリティ間の整合性を高めるためのより良い手法の必要性を示している。
• ディープラーニングモデルは、トランスファー学習のおかげでより優れた汎化可能性を示したが、解釈性が低下するという代償を伴った。
• 本研究は、マルチモーダルなソーシャルメディアデータが、特に臨床的ケアを受けることを希望しない学生を対象として、受動的でスケーラブルなうつ病スクリーニングを支援できることを確認した。
• 特徴工学モデルはより優れた解釈性を提供する一方で、ディープラーニングモデルはトランスファー学習のおかげで新しいドメインへの適応が容易である。