[論文レビュー] MOGAM: A Multimodal Object-oriented Graph Attention Model for Depression Detection

Junyeop Cha, Seoyun Kim+2 more|arXiv (Cornell University)|Mar 21, 2024

Mental Health via Writing被引用数 4

ひとこと要約

本稿では、YouTubeのVlogから視覚的オブジェクト、メタデータ、グラフ構造の関係性を統合するマルチモーダル・オブジェクト指向型グラフアテンションモデルMOGAMを提案する。クロスアテンションを用いてマルチモーダル特徴を統合し、オブジェクト共起グラフを構築することで、臨床的診断を受けたデータセットで87.1%の正確性と88.8%のF1スコアを達成し、優れた性能とスケーラビリティを示した。

ABSTRACT

Early detection plays a crucial role in the treatment of depression. Therefore, numerous studies have focused on social media platforms, where individuals express their emotions, aiming to achieve early detection of depression. However, the majority of existing approaches often rely on specific features, leading to limited scalability across different types of social media datasets, such as text, images, or videos. To overcome this limitation, we introduce a Multimodal Object-Oriented Graph Attention Model (MOGAM), which can be applied to diverse types of data, offering a more scalable and versatile solution. Furthermore, to ensure that our model can capture authentic symptoms of depression, we only include vlogs from users with a clinical diagnosis. To leverage the diverse features of vlogs, we adopt a multimodal approach and collect additional metadata such as the title, description, and duration of the vlogs. To effectively aggregate these multimodal features, we employed a cross-attention mechanism. MOGAM achieved an accuracy of 0.871 and an F1-score of 0.888. Moreover, to validate the scalability of MOGAM, we evaluated its performance with a benchmark dataset and achieved comparable results with prior studies (0.61 F1-score). In conclusion, we believe that the proposed model, MOGAM, is an effective solution for detecting depression in social media, offering potential benefits in the early detection and treatment of this mental health condition.

研究の動機と目的

• ソーシャルメディアのVlog、特にYouTubeを対象として、多様なデータタイプを用いたスケーラブルなマルチモーダルフレームワークの開発を目的とする。
• 顔の表情などの特定の特徴に依存する従来のモデルの限界を克服するため、Vlogコンテンツのオブジェクト指向型グラフ表現を導入することを目的とする。
• 臨床的妥当性を確保するため、臨床的に診断されたうつ病または高リスク状態にあるユーザーのVlogから構成されるデータセットを収集することを目的とする。
• 異なるデータ分布を想定したベンチマークデータセットにおける汎化能力の評価を通じて、モデルのスケーラビリティを確認することを目的とする。
• 実世界のユーザー生成Vlogを用いた、早期のうつ病検出に向けた強固で解釈可能なツールの提供を目的とする。

提案手法

• 本モデルは、YOLOv5を用いて各Vlog内の視覚的オブジェクト（例：人物、コップ、ベッド）を検出することでオブジェクト共起グラフを構築し、オブジェクトペア間の共起頻度をグラフエッジとして計算する。
• マルチモーダル特徴は3つのソースから抽出される：視覚的オブジェクト（YOLOv5経由）、メタデータ（タイトル、説明、再生時間）（KoBERTを用いて）、およびフレームごとの視覚的特徴（ResNetを用いて）。
• クロスアテンション機構を適用し、オブジェクトグラフ、視覚的特徴、テキストメタデータの3モodalの表現を動的に注目・統合する。
• オブジェクト指向型グラフエンコーダは、グラフアテンションネットワーク（GAT）を用いて、近隣関係に基づく文脈的なノード表現を学習する。
• 最終的なマルチモーダル表現は分類ヘッドに供給され、うつ病または高リスク状態の予測がなされる。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、標準指標（正確性、F1スコア）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 多様なデータタイプを用いたマルチモーダルでオブジェクト指向型のグラフアテンションモデルは、YouTubeのVlogにおけるうつ病を効果的に検出できるか？
• RQ2 視覚的オブジェクト、メタデータ、グラフ構造の関係性を統合することで、単一モーダルまたは非グラフベースのアプローチに比べて検出性能が向上するか？
• RQ3 本モデルは、異なる言語やデータ分布を持つ他のデータセットにも汎化可能か？
• RQ4 特定のオブジェクト、あるいはオブジェクト共起パターンが、うつ病状態や高リスク状態と有意に関連しているか？
• RQ5 臨床的診断を受けたVlogを用いることで、モデルの信頼性と臨床的妥当性が向上するか？

主な発見

• MOGAMは、臨床的に診断されたうつ病または高リスク状態にある個人のVlogから構成される主なデータセットで、正確性87.1%、F1スコア88.8%を達成した。
• 本モデルは強力なスケーラビリティを示し、ベンチマークデータセットでも0.61のF1スコアを達成し、従来の最先端手法と同等の性能を示した。
• ナイフ、フォーク、ケーキ、ハンドバッグ、サンドイッチといったオブジェクトは、うつ病状態と有意に関連しており、p値が強い判別力を持つことを示した。
• オブジェクトの出現頻度は、日常群においてうつ病群および高リスク潜在群よりも高かった。これは、臨床状態におけるオブジェクト使用パターンの変化を示唆している。
• p値が最も低い上位5つのオブジェクト（ナイフ、フォーク、ケーキ、ハンドバッグ、サンドイッチ）は、群ごとに平均出現回数に顕著な差を示しており、診断的価値が示唆された。
• 後行的分析により、食事関連のオブジェクトが、うつ病群および高リスク群で有意に多く見られ、症状の表現における関連性が裏付けられた。