[論文レビュー] Explainable Depression Detection with Multi-Modalities Using a Hybrid Deep Learning Model on Social Media

Hamad Zogan, Imran Razzak+3 more|arXiv (Cornell University)|Jul 3, 2020

Mental Health via Writing参考文献 46被引用数 13

ひとこと要約

本稿では、テキスト解析に階層的アテンションネットワーク（HAN）と、行動的・感情的・社会的・トピックのマルチモーダル特徴（多様な分野に特化した特徴を含む）を組み合わせたハイブリッドディープラーニングモデルMDHANを提案する。このモデルは89%のF1スコアを達成し、アテンション機構によるキーワードやツイートの強調によって解釈可能性を提供する。従来手法を著しく上回り、解釈可能な自然言語処理とマルチモーダルデータの統合の価値を示している。

ABSTRACT

Model interpretability has become important to engenders appropriate user trust by providing the insight into the model prediction. However, most of the existing machine learning methods provide no interpretability for depression prediction, hence their predictions are obscure to human. In this work, we propose interpretive Multi-Modal Depression Detection with Hierarchical Attention Network MDHAN, for detection depressed users on social media and explain the model prediction. We have considered user posts along with Twitter-based multi-modal features, specifically, we encode user posts using two levels of attention mechanisms applied at the tweet-level and word-level, calculate each tweet and words' importance, and capture semantic sequence features from the user timelines (posts). Our experiments show that MDHAN outperforms several popular and robust baseline methods, demonstrating the effectiveness of combining deep learning with multi-modal features. We also show that our model helps improve predictive performance when detecting depression in users who are posting messages publicly on social media. MDHAN achieves excellent performance and ensures adequate evidence to explain the prediction.

研究の動機と目的

• 既存のSNS上でのうつ病検出モデルに解釈可能性の欠如があることによる、ユーザーの信頼性と臨床的有用性の制限を是正すること。
• ユーザーのタイムラインからのテキストコンテンツに加え、行動的特徴（感情的・社会的・トピック的・分野特化型）を統合することで、自動うつ病検出の精度と信頼性を向上させること。
• モデルが単にうつ病を分類するだけでなく、アテンション機構を用いて顕著な語句やツイートを特定することで、予測を説明可能にするモデルを開発すること。
• 個々のモダリティの貢献度と、テキスト特徴と行動特徴を統合した際のモデル性能への影響を評価すること。

提案手法

• ユーザーの投稿を処理するため、語レベルとツイートレベルの重要度および意味的シーケンス特徴を捉えるために、階層的アテンションネットワーク（HAN）を用いるハイブリッドアーキテクチャを採用する。
• 感情的・社会的・トピック的・分野特化型のマルチモーダル行動特徴を、多層パーセプトロン（MLP）に供給し、非テキスト的行動パターンを学習する。
• HANとMLPの出力をラテントフェージュネーションにより統合し、分類性能を向上させつつ、解釈可能性を維持する。
• 語とツイートに重みを割り当てることでアテンション機構を用い、モデルの解釈可能性を高め、最も影響力のあるコンテンツを強調する。
• 単語埋め込みと時系列的なユーザーのタイムラインシーケンスを用い、実世界のTwitterユーザーのデータセット（うつ病状態ラベル付き）上でエンドツーエンドのモデルを学習する。
• 語のクラウドを用いてアテンションスコアを可視化し、特定の症状（例：自殺的思考、無価値感、不眠）の予測を説明する。

実験結果

リサーチクエスチョン

• RQ1 感情的・社会的・トピック的・分野特化型のマルチモーダル行動特徴を統合することで、テキストのみのモデルに比べて、うつ病検出性能がどの程度向上するか？
• RQ2 階層的アテンション機構は、ユーザーのタイムラインにおけるうつ病検出の解釈可能性と精度をどの程度向上させるか？
• RQ3 感情的・社会的・トピック的・分野特化型の各モダリティのうち、モデルの予測性能に最も寄与しているのはどれか？
• RQ4 モデルは、特定の抑うつ症状に関連するキーワードやツイートを強調することで、意味的かつ人間が理解可能な説明を提供できるか？

主な発見

• MDHANはF1スコア89%を達成し、すべての強力なベースラインモデルを上回り、HANとマルチモーダル特徴を統合する有効性を示している。
• マルチモーダル特徴のみを用いた場合、モデルの性能が著しく低下したため、テキストコンテンツが高精度な性能を達成するために不可欠であることが示された。
• トピック特徴またはソーシャルネットワーク特徴を除去した場合、性能低下が最も大きかったため、これらがうつ病検出に重要な貢献をしていることがわかった。
• HANコンポーネント単体でも、マルチモーダル特徴のみのモデルを上回った。これは、ユーザーのタイムラインにおける意味的シーケンスモデリングの重要性を裏付けている。
• アテンション可視化により、臨床的に関連のあるツイートや語句（例：「1人中4人が精神的障害を経験する」→自殺的思考）に高い重みが割り当てられていることが確認された。
• 「無価値感」「エネルギーの喪失」「不眠」などの症状の語のクラウドでは、頻度が高く影響力のある語句が強調され、モデルの解釈可能性と臨床的妥当性が検証された。