[論文レビュー] Depression Status Estimation by Deep Learning based Hybrid Multi-Modal Fusion Model

Hrithwik Shalu, Pandurangan Harikrishnan+7 more|arXiv (Cornell University)|Nov 30, 2020

Mental Health via Writing参考文献 5被引用数 4

ひとこと要約

本論文では、音声、映像、テキストモダリティを1ショット学習と監視付き微調整を用いて統合するハイブリッドディープラーニングモデルを提案し、うつ病状態の推定を向上させる。実世界のデータセット上で96.3%の精度と0.9682のAUCを達成し、ユーザー適応型でクラウドデプロイされたスマートフォンアプリケーション統合により、軽度のうつ病の検出において頑健なパフォーマンスを示した。

ABSTRACT

Preliminary detection of mild depression could immensely help in effective treatment of the common mental health disorder. Due to the lack of proper awareness and the ample mix of stigmas and misconceptions present within the society, mental health status estimation has become a truly difficult task. Due to the immense variations in character level traits from person to person, traditional deep learning methods fail to generalize in a real world setting. In our study we aim to create a human allied AI workflow which could efficiently adapt to specific users and effectively perform in real world scenarios. We propose a Hybrid deep learning approach that combines the essence of one shot learning, classical supervised deep learning methods and human allied interactions for adaptation. In order to capture maximum information and make efficient diagnosis video, audio, and text modalities are utilized. Our Hybrid Fusion model achieved a high accuracy of 96.3% on the Dataset; and attained an AUC of 0.9682 which proves its robustness in discriminating classes in complex real-world scenarios making sure that no cases of mild depression are missed during diagnosis. The proposed method is deployed in a cloud-based smartphone application for robust testing. With user-specific adaptations and state of the art methodologies, we present a state-of-the-art model with user friendly experience.

研究の動機と目的

• ステイグマ、低い認識、症状の個人差による軽度のうつ病の未発見の課題に対処するため。
• 多様な個人にわたる実世界の状況において、一般化しやすいユーザー適応型のAIシステムを開発するため。
• 音声、映像、テキストのマルチモーダルデータをハイブリッド学習戦略で活用することで、うつ病の早期検出を向上させるため。
• スマートフォンを通じて利用可能な、臨床的に有用でデプロイ可能な、予備的なうつ病スクリーニングツールを構築するため。

提案手法

• モデルは、ユーザー固有の適応のための1ショット学習と、マルチモーダル入力における監視付きディープラーニングを組み合わせたハイブリッド統合フレームワークを用いる。
• 音声特徴は、プロソディックおよびスペクトル解析を用いて抽出され、発話速度、間隔、声の質を捉える。
• 映像特徴は、3次元畳み込みニューラルネットワーク（3D CNNs）を用いて顔の表情およびマイクロエクスプレッションから抽出され、感情の兆候を検出する。
• テキストトランスクリプトは自然言語処理（NLP）技術を用いて処理され、1人称代名詞や文法的単純さなどの言語的マーカーを同定する。
• コサイン類似度を用いて、クエリの応答を専門家がラベル付けした基準回答と比較し、うつ病の重症度を決定する。
• システムはクラウドベースのスマートフォンアプリケーションにデプロイされ、リアルタイムでスケーラブルかつユーザー適応型のスクリーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドディープラーニングモデルは、実世界の状況において、音声、映像、テキストモダリティを効果的に統合し、高い精度で軽度のうつ病を検出できるか？
• RQ2 1ショット学習技術は、個々の人物に必要な大量のラベル付きデータがなくても、うつ病検出におけるユーザー固有の適応をどの程度可能にするか？
• RQ3 マルチモーダル統合は、単一モダリティアプローチと比較して、うつ病の重症度レベルの区別をどの程度向上させるか？
• RQ4 性格的・行動的特徴にばらつきがある多様な個人に対して、モデルは実世界の臨床的状況で一般化できるか？
• RQ5 従来の臨床的手法で見過ごされがちな、微細または初期段階のうつ病の兆候を、このシステムはどの程度効果的に特定できるか？

主な発見

• 提案されたハイブリッド統合モデルは、95％信頼区間±1.478を伴い、96.3％のテスト精度を達成した。
• AUCが0.9682に達し、複雑な実世界データにおけるうつ病クラス間の強力な区別力を持つことが示された。
• コサイン類似度インデックスは0.128から0.883の範囲にあり、モデルが軽度、中等度、重度のうつ病のレベルを区別できる能力を確認した。
• システムは、多様な個人において微細な言語的、プロソディック的、顔の表情的兆候を効果的に検出できた。
• クラウドベースのスマートフォンデプロイメントにより、スケーラブルでリアルタイムかつユーザー適応型のスクリーニングが可能になり、アクセス性と臨床的有用性が向上した。
• 専門家による検証で、AI支援システムが臨床医が症例を優先順位付けし、トリアージ効率を向上させるのを支援できること confirmed された。