[論文レビュー] Significance of Speaker Embeddings and Temporal Context for Depression Detection

Sri Harsha Dumpala, Sebastián Rodríguez+3 more|arXiv (Cornell University)|Jul 24, 2021

Mental Health via Writing被引用数 6

ひとこと要約

本論文は、スピーカー埋め込みが音声からのうつ病検出を顕著に向上させることを示しており、OpenSMILEおよびCOVAREP特徴量と組み合わせることで最先端の性能を達成している。本研究はさらに、連続する音声セグメントをより多く考慮することで時間的文脈を拡大すると、モデル性能が向上することを示しており、これは逐次的な音声パターンがうつ病を特定する上で重要な手がかりを含んでいることを示している。

ABSTRACT

Depression detection from speech has attracted a lot of attention in recent years. However, the significance of speaker-specific information in depression detection has not yet been explored. In this work, we analyze the significance of speaker embeddings for the task of depression detection from speech. Experimental results show that the speaker embeddings provide important cues to achieve state-of-the-art performance in depression detection. We also show that combining conventional OpenSMILE and COVAREP features, which carry complementary information, with speaker embeddings further improves the depression detection performance. The significance of temporal context in the training of deep learning models for depression detection is also analyzed in this paper.

研究の動機と目的

• スピーカー埋め込みが音声からのうつ病検出をどの程度向上させるかを調査すること。
• 連続する音声セグメントの数として定義される時間的文脈が、うつ病検出におけるディープラーニングモデルの性能に与える影響を分析すること。
• 従来の音声特徴量（OpenSMILEおよびCOVAREP）とスピーカー埋め込みの相補的性を評価すること。
• スピーカー埋め込みとマルチモodal音声特徴量を組み合わせることで、音声を用いたうつ病検出の新しい最先端のベースラインを確立すること。

提案手法

• スピーカー埋め込みは、LSTMネットワークを用いたエンドツーエンドのテキスト非依存スピーカー認証システム（[30] に従う）を用いて抽出された。
• OpenSMILEおよびCOVAREPからの音声特徴量が抽出され、音声のプロソディックおよびスペクトル的特徴を表現した。
• 深層学習モデル（DNN、CNN、LSTM）は、うつ病対健康の二値分類を目的として、スピーカー埋め込みと音声特徴量の両方を用いて訓練された。
• 時間的文脈は、連続する音声セグメントのシーケンス（4〜16/20セグメントの範囲）をモデルに入力することでモデル化され、逐次的ダイナミクスを捉えた。
• モデル性能は、うつ病群および健康群の両方のクラスに対して加重精度とF1スコアを用いて評価された。
• スピーカー分類は等誤差率（EER）を用いて評価され、抽出されたスピーカー埋め込みの識別的品質が検証された。

実験結果

リサーチクエスチョン

• RQ1 スピーカー埋め込みは、音声を用いたうつ病検出モデルの性能にどのように寄与するか？
• RQ2 従来の音声特徴量（OpenSMILEおよびCOVAREP）とスピーカー埋め込みを組み合わせることで、うつ病検出の精度にどのような影響を与えるか？
• RQ3 時間的文脈の長さ（連続する音声セグメントの数）は、ディープラーニングモデルのうつ病検出における性能にどのように影響するか？
• RQ4 スピーカー埋め込みのみで、最先端の手法と同等の性能を達成できるか？

主な発見

• スピーカー埋め込みのみで、DAIC-WoZおよびFORBOWデータセットの両方で、OpenSMILEまたはCOVAREP特徴量のみで訓練されたモデルを上回る性能を達成した。
• スピーカー埋め込みとOpenSMILE特徴量を組み合わせることで、FORBOWデータセットで加重精度0.76を達成し、最先端の結果を上回った。
• LSTMおよびCNNモデルの両方の性能は、時間的文脈の拡大に伴い向上し、FORBOWでは16セグメント、DAIC-WoZでは20セグメントで飽和した。
• スピーカー分類の等誤差率（EER）は、DAIC-WoZで1.29、FORBOWで1.69であった。これは、抽出されたスピーカー埋め込みが効果的に話者固有の情報を捉えていることを確認した。
• すべての設定においてLSTMとCNNモデルがDNNを上回り、LSTM DはCNN Dと同等または優れた性能を示した。
• スピーカー埋め込みとOpenSMILE特徴量の統合により顕著な性能向上が得られた。これは、話者アイデンティティと音声特徴量の間で相補的な情報が存在することを示している。