[论文解读] Depa: Self-supervised audio embedding for depression detection

Heinrich Dinkel, Pingyue Zhang+2 more|arXiv (Cornell University)|Oct 29, 2019

Mental Health via Writing参考文献 30被引用 8

一句话总结

该论文提出DEPA，一种受Word2Vec启发的自监督音频嵌入方法，用于抑郁检测，通过编码器-解码器网络从稀疏的领域内数据（DAIC）和大规模领域外数据（Switchboard、Alzheimer’s）中学习表征。DEPA在分类和回归任务中均显著优于传统音频特征，且领域外预训练进一步提升了性能。

ABSTRACT

Depression detection research has increased over the last few decades as this disease is becoming a socially-centered problem. One major bottleneck for developing automatic depression detection methods lies in the limited data availability. Recently, pretrained text-embeddings have seen success in sparse data scenarios, while pretrained audio embeddings are rarely investigated. This paper proposes DEPA, a self-supervised, Word2Vec like pretrained depression audio embedding method for depression detection. An encoder-decoder network is used to extract DEPA on sparse-data in-domain (DAIC) and large-data out-domain (switchboard, Alzheimer's) datasets. With DEPA as the audio embedding, performance significantly outperforms traditional audio features regarding both classification and regression metrics. Moreover, we show that large-data out-domain pretraining is beneficial to depression detection performance.

研究动机与目标

• 通过利用自监督预训练，解决自动抑郁检测中标签数据有限的挑战。
• 探索预训练音频嵌入在低资源抑郁检测场景中的可行性和有效性。
• 研究大规模领域外预训练是否能提升在领域内抑郁检测中的性能。
• 开发DEPA框架，无需人工标注即可学习有意义的音频表征。

提出的方法

• 训练编码器-解码器神经网络以重建被掩码的音频片段，学习类似Word2Vec跳跃语法目标的上下文表征。
• 在领域外数据集（Switchboard和Alzheimer’s）上进行预训练，随后在领域内DAIC数据集上微调。
• 将学习到的编码器作为特征提取器，为下游抑郁检测生成DEPA嵌入。
• 将DEPA嵌入应用于分类和回归任务，以预测抑郁严重程度。
• 通过重建任务隐式利用对比学习原则，捕捉语音中的语义结构。

实验结果

研究问题

• RQ1 自监督音频表征学习是否能提升低资源环境下抑郁检测的性能？
• RQ2 在大规模领域外音频数据集上进行预训练是否能提升在领域内抑郁检测中的性能？
• RQ3 DEPA嵌入在分类和回归任务中与传统手工设计音频特征相比表现如何？
• RQ4 DEPA的性能提升是源于自监督预训练还是网络架构设计？

主要发现

• DEPA嵌入在抑郁分类和回归任务中均显著优于传统音频特征。
• 在大规模领域外数据集（Switchboard和Alzheimer’s）上进行预训练，可提升在领域内DAIC数据集上的性能。
• 自监督DEPA框架能有效学习有意义的音频表征，且无需人工标注。
• 性能提升归因于自监督预训练与编码器-解码器架构的结合。