[論文レビュー] Integration of Text and Graph-based Features for Detecting Mental Health Disorders from Voice

Nasser Ghadiri, Rasoul Samani+1 more|arXiv (Cornell University)|May 14, 2022

Emotion and Mood Recognition被引用数 4

ひとこと要約

本稿では、テキストベースの自然言語処理と音声信号のグラフベース表現を統合するハイブリッドアプローチを提案し、会話からのうつ病検出を改善する。トランスクリプト埋め込みとグラフ構造の音声特徴を統合することで、DAIC-WOZデータセットにおいて優れた性能を達成し、従来の音声のみの手法を上回るマルチモーダル特徴統合が、精神的障害の検出を向上させることを示している。

ABSTRACT

With the availability of voice-enabled devices such as smart phones, mental health disorders could be detected and treated earlier, particularly post-pandemic. The current methods involve extracting features directly from audio signals. In this paper, two methods are used to enrich voice analysis for depression detection: graph transformation of voice signals, and natural language processing of the transcript based on representational learning, fused together to produce final class labels. The results of experiments with the DAIC-WOZ dataset suggest that integration of text-based voice classification and learning from low level and graph-based voice signal features can improve the detection of mental disorders like depression.

研究の動機と目的

• 精神的障害（例：うつ病）の検出における音声のみの特徴の限界を是正すること。
• テキストトランスクリプト解析と音声信号のグラフベース変換を組み合わせる可能性を検討すること。
• 低レベル音声特徴と高レベル言語的・構造的表現を統合することで分類性能を向上させること。
• 本手法の有効性を実臨床データセット（DAIC-WOZ）上で検証すること。

提案手法

• 音声録音から得られたテキストトランスクリプトを、文脈埋め込みを抽出するための表現学習技術で処理する。
• 音声信号を時間的・スペクトル的関係を捉えるためにグラフ構造に変換する。
• 低レベル音声特徴（例：プロソディックおよびスペクトル特徴）を抽出し、グラフ構造の表現と統合する。
• グラフベースとテキストベースの埋め込みを連結し、分類器に供給してうつ病検出を実行する。
• 言語的特徴、音声的特徴、構造的特徴を統合するマルチモーダル統合戦略を採用し、識別力を向上させる。
• モデルはDAIC-WOZデータセット上で訓練および評価され、会話からの精神的障害検出のベンチマークとして用いられる。

実験結果

リサーチクエスチョン

• RQ1 音声信号のグラフベース表現を統合することで、標準的な音声特徴を上回るうつ病検出が可能になるか？
• RQ2 テキストトランスクリプト埋め込みと構造的音声特徴を組み合わせることで、分類性能にどのような影響を与えるか？
• RQ3 テキストとグラフベース特徴のマルチモーダル統合が、単一モodalアプローチをどれほど上回るか？
• RQ4 提案手法は、実臨床の会話データに対して十分に一般化可能か？

主な発見

• テキストベースとグラフベースの特徴を統合することで、音声のみまたはテキストのみのモデルを上回る、うつ病検出の正確性が著しく向上した。
• 本手法は、低レベル音声特徴のみを用いたベースラインモデルと比較して、DAIC-WOZデータセットでより高いF1スコアとAUC値を達成した。
• グラフベースの表現は、精神的健康指標に関連する音声信号の非線形パターンを効果的に捉えている。
• トランスクリプトからの言語的文脈と構造的音声特徴を統合することで、分類に向けたより強固で識別力の高い表現が得られた。