[論文レビュー] Depa: Self-supervised audio embedding for depression detection

Heinrich Dinkel, Pingyue Zhang+2 more|arXiv (Cornell University)|Oct 29, 2019

Mental Health via Writing参考文献 30被引用数 8

ひとこと要約

本稿では、Word2Vecを模倣した自己教師あり音声埋め込み手法DEPAを提案する。DEPAは、スパースなドメイン内（DAIC）および大規模なドメイン外（Switchboard, Alzheimer’s）データセットからの表現を学習するために、エンコーダ-デコーダネットワークを用いる。DEPAは分類および回帰の両タスクにおいて、従来の音声特徴量よりも顕著に優れた性能を発揮し、ドメイン外事前学習が性能向上に寄与する。

ABSTRACT

Depression detection research has increased over the last few decades as this disease is becoming a socially-centered problem. One major bottleneck for developing automatic depression detection methods lies in the limited data availability. Recently, pretrained text-embeddings have seen success in sparse data scenarios, while pretrained audio embeddings are rarely investigated. This paper proposes DEPA, a self-supervised, Word2Vec like pretrained depression audio embedding method for depression detection. An encoder-decoder network is used to extract DEPA on sparse-data in-domain (DAIC) and large-data out-domain (switchboard, Alzheimer's) datasets. With DEPA as the audio embedding, performance significantly outperforms traditional audio features regarding both classification and regression metrics. Moreover, we show that large-data out-domain pretraining is beneficial to depression detection performance.

研究の動機と目的

• ラベル付きデータが限られる自動的うつ病検出の課題に対処するため、自己教師あり事前学習を活用する。
• 低リソースなうつ病検出環境における事前学習済み音声埋め込みの実現可能性と有効性を検討する。
• 大規模なドメイン外事前学習がドメイン内うつ病検出の性能を向上させるかを調査する。
• 手動アノテーションを必要としない意味のある音声表現を学習するDEPAフレームワークを構築する。

提案手法

• マスクされた音声セグメントを再構築するようにエンコーダ-デコーダニューラルネットワークを訓練し、Word2Vecのスキップグラム目的に類似した文脈表現を学習する。
• ドメイン内DAICデータセットでの微調整の前に、大規模なドメイン外データセット（SwitchboardおよびAlzheimer’s）でモデルを事前学習する。
• 学習されたエンコーダーを特徴量抽出器として用い、下流のうつ病検出タスク用にDEPA埋め込みを生成する。
• DEPA埋め込みを、うつ病の重症度予測のための分類および回帰タスクに適用する。
• 再構築を通じて、対照的学習の原則を暗黙的に活用し、発話内の意味的構造を捉える。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり音声表現学習は、低リソースな環境におけるうつ病検出性能を向上させることができるか？
• RQ2 大規模なドメイン外音声データセットでの事前学習は、ドメイン内うつ病検出の性能を向上させるか？
• RQ3 分類および回帰タスクにおいて、DEPA埋め込みは従来の手作業で作成された音声特徴量と比較してどのように異なるか？
• RQ4 DEPAによる性能向上は、自己教師あり事前学習の効果によるものか、アーキテクチャ設計によるものか？

主な発見

• DEPA埋め込みは、うつ病分類および回帰タスクの両方において、従来の音声特徴量よりも顕著に優れた性能を達成する。
• 大規模なドメイン外データセット（SwitchboardおよびAlzheimer’s）での事前学習は、ドメイン内DAICデータセットでの性能向上に寄与する。
• 自己教師ありDEPAフレームワークは、手動アノテーションを必要とせず、意味のある音声表現を効果的に学習する。
• 性能向上は、自己教師あり事前学習とエンコーダ-デコーダアーキテクチャの組み合わせに起因する。