[論文レビュー] Depression Detection with Multi-Modalities Using a Hybrid Deep Learning Model on Social Media

Hamad Zogan, Xianzhi Wang+2 more|arXiv (Cornell University)|Jul 3, 2020

Mental Health via Writing参考文献 57被引用数 13

ひとこと要約

本論文では、テキストとユーザータイムラインからのマルチモーダル特徴を活用して、ソーシャルメディア利用者のうつ病を検出するため、双方向ゲート付き再帰型ユニット（BiGRUs）と畳み込みニューラルネットワーク（CNNs）を組み合わせたスケーラブルなハイブリッド深層学習モデルを提案する。このモデルは、短く疎らで文法的に不完全なユーザーポストにおける長期的依存関係と意味的シーケンスを効果的に捉えることで、Twitterデータ上でのうつ病検出精度を顕著に向上させ、強力なベースラインを上回る性能を発揮する。

ABSTRACT

Social networks enable people to interact with one another by sharing information, sending messages, making friends, and having discussions, which generates massive amounts of data every day, popularly called as the user-generated content. This data is present in various forms such as images, text, videos, links, and others and reflects user behaviours including their mental states. It is challenging yet promising to automatically detect mental health problems from such data which is short, sparse and sometimes poorly phrased. However, there are efforts to automatically learn patterns using computational models on such user-generated content. While many previous works have largely studied the problem on a small-scale by assuming uni-modality of data which may not give us faithful results, we propose a novel scalable hybrid model that combines Bidirectional Gated Recurrent Units (BiGRUs) and Convolutional Neural Networks to detect depressed users on social media such as Twitter-based on multi-modal features. Specifically, we encode words in user posts using pre-trained word embeddings and BiGRUs to capture latent behavioural patterns, long-term dependencies, and correlation across the modalities, including semantic sequence features from the user timelines (posts). The CNN model then helps learn useful features. Our experiments show that our model outperforms several popular and strong baseline methods, demonstrating the effectiveness of combining deep learning with multi-modal features. We also show that our model helps improve predictive performance when detecting depression in users who are posting messages publicly on social media.

研究の動機と目的

• ソーシャルメディアからのうつ病検出における単一モーダル手法の限界を克服するため、マルチモーダルなユーザ生成コンテンツを統合すること。
• スケーラブルな深層学習を用いて、短く疎らで文法的に不完全なソーシャルメディア投稿におけるうつ病検出の精度を向上させること。
• 順序付きモデリング技術を用いて、ユーザータイムラインにおける長期的行動パターンと意味的依存関係をモデル化すること。
• ユーザーポストからのテキスト的特徴、順序的特徴、意味的特徴を統合することで、予測性能を向上させること。
• 精神保健スクリーニングに向け、事前学習済み単語埋め込みと深層ニューラルアーキテクチャを活用する、堅牢でスケーラブルなモデルの開発

提案手法

• ソーシャルメディアプラットフォームのユーザーポストからのテキスト的コンテンツを符号化するために、事前学習済み単語埋め込みを活用する。
• ユーザータイムライン全体にわたる長期的依存関係をモデル化し、潜在的な行動パターンを捉えるために、双方向ゲート付き再帰型ユニット（BiGRUs）を採用する。
• BiGRUsが学習した順序的表現から、高レベルで判別力のある特徴を抽出するために、畳み込みニューラルネットワーク（CNNs）を適用する。
• 意味的シーケンス、テキスト的コンテンツ、時間的パターンを含むマルチモーダル特徴を統合し、包括的な深層学習フレームワークを構築する。
• 順序付きモデリングにBiGRUsを、特徴の抽象化にCNNsを統合するハイブリッドアーキテクチャを設計し、ユーザ生成コンテンツに対するエンドツーエンド学習を可能にする。
• 短く非公式な投稿におけるうつ病の兆候を検出することに注力し、公開済みのソーシャルメディアデータ上でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 BiGRUsとCNNsを組み合わせたハイブリッド深層学習モデルは、単一モーダルまたは独立したモデルと比較して、ソーシャルメディア上でのうつ病検出性能を向上させることができるか？
• RQ2 テキストとユーザータイムラインからのマルチモーダル特徴は、うつ病に関連する潜在的行動パターンをどの程度効果的に捉えることができるか？
• RQ3 ユーザータイムラインにおける長期的依存関係は、短く疎らな投稿における抑うつ状態の検出をどの程度向上させるか？
• RQ4 事前学習済み単語埋め込みと深層順序モデリングの統合は、リソースが限られたノイズの多いソーシャルメディアテキストにおけるうつ病検出能力を向上させるか？
• RQ5 実世界のソーシャルメディアデータ上での予測性能について、提案モデルは強力なベースライン手法と比較してどの程度優れているか？

主な発見

• 提案されたハイブリッドBiGRU-CNNモデルは、ソーシャルメディア上でのうつ病検出において、多数の代表的で強力なベースライン手法を上回る性能を発揮する。
• 意味的シーケンスやテキスト的コンテンツを含むマルチモーダル特徴の統合は、検出性能の顕著な向上に寄与する。
• BiGRUsは、ユーザータイムライン全体にわたる長期的依存関係と相関関係を効果的に捉え、抑うつと関連する微細な行動パターンの検出能力を高める。
• CNN部は、BiGRUsが生成した順序的特徴から、有用な高レベル表現を学習し、分類性能の向上に貢献する。
• 本モデルは、短く非公式で疎らな投稿が特徴のTwitterデータ上でも、強力なスケーラビリティと有効性を示す。
• 結果から、深層学習とマルチモーダル特徴の統合が、公共のソーシャルメディアコンテンツにおけるより正確で信頼性の高いうつ病検出を実現できることを確認した。