[论文解读] A Novel Fusion of Attention and Sequence to Sequence Autoencoders to Predict Sleepiness From Speech

Shahin Amiriparian, Pawel Winokurow+4 more|arXiv (Cornell University)|May 15, 2020

Sleep and Work-Related Fatigue参考文献 30被引用 6

一句话总结

该论文提出了一种基于注意力机制与标准序列到序列自编码器的新型融合方法，用于从语音中进行无监督表征学习，以预测连续的困倦程度。通过提取梅尔倒谱图，训练两种自编码器变体，并融合其学习到的特征，该方法在测试数据上实现了 0.367 的斯皮尔曼等级相关系数，优于单一模型和基线模型。

ABSTRACT

Motivated by the attention mechanism of the human visual system and recent developments in the field of machine translation, we introduce our attention-based and recurrent sequence to sequence autoencoders for fully unsupervised representation learning from audio files. In particular, we test the efficacy of our novel approach on the task of speech-based sleepiness recognition. We evaluate the learnt representations from both autoencoders, and then conduct an early fusion to ascertain possible complementarity between them. In our frameworks, we first extract Mel-spectrograms from raw audio files. Second, we train recurrent autoencoders on these spectrograms which are considered as time-dependent frequency vectors. Afterwards, we extract the activations of specific fully connected layers of the autoencoders which represent the learnt features of spectrograms for the corresponding audio instances. Finally, we train support vector regressors on these representations to obtain the predictions. On the development partition of the data, we achieve Spearman's correlation coefficients of .324, .283, and .320 with the targets on the Karolinska Sleepiness Scale by utilising attention and non-attention autoencoders, and the fusion of both autoencoders' representations, respectively. In the same order, we achieve .311, .359, and .367 Spearman's correlation coefficients on the test data, indicating the suitability of our proposed fusion strategy.

研究动机与目标

• 开发一种基于语音信号的无监督表征学习框架，用于连续困倦程度识别。
• 探究注意力机制是否能提升序列到序列自编码器在基于语音的困倦程度预测中的性能。
• 通过早期融合评估注意力自编码器与非注意力自编码器所学习表征的互补性。
• 在 2019 年 INTERSPEECH ComParE 数据集上，将所提方法与专家设计的特征及挑战基线进行比较。
• 证明端到端、完全无监督学习在无须人工特征工程的情况下对困倦检测的有效性。

提出的方法

• 使用汉明窗（50% 重叠）和对数尺度梅尔带，从 16 kHz 原始音频中提取梅尔倒谱图。
• 训练两种循环序列到序列自编码器：一种带注意力机制，一种不带，两者均使用 GRU 或 LSTM 单元。
• 在注意力模型中，使用编码器的最后全连接层和解码器的最后隐藏状态作为学习到的表征。
• 在非注意力自编码器中，从编码器的全连接层和解码器的最终隐藏状态提取表征。
• 通过在训练支持向量回归器（SVR）前拼接两种自编码器的表征，实现早期特征融合。
• 在开发集上优化 SVR 复杂度，并使用斯皮尔曼等级相关系数与 KSS 得分在测试数据上进行评估。

实验结果

研究问题

• RQ1 注意力机制能否提升序列到序列自编码器在困倦程度检测中的无监督语音表征学习性能？
• RQ2 当进行早期融合时，注意力自编码器与非注意力自编码器的表征是否具有互补性？
• RQ3 所提无监督方法在连续困倦程度预测中的性能与手工设计特征及挑战基线相比如何？
• RQ4 自编码器超参数（如窗口大小、单元类型、维度）的最佳配置是什么？
• RQ5 是否通过早期融合两种自编码器类型的表征，能获得优于单一模型的性能？

主要发现

• 注意力自编码器在开发集上达到 0.324 的斯皮尔曼相关系数，在测试集上为 0.311（与 KSS 得分相关）。
• 非注意力自编码器在开发集上得分为 0.286，在测试集上为 0.338，表明其尽管性能较低，但泛化能力较强。
• 两种自编码器表征的早期融合取得了最高性能，开发集为 0.320，测试集为 0.367。
• 最佳融合配置使用复杂度为 $10^{-1}$ 的 SVR，测试相关系数达 0.367，优于挑战赛优胜者的开发集表现（0.383），但在测试集上略低。
• 注意力模型的最佳性能由 LSTM 单元、512 维特征和 25 个训练周期实现，分别在开发集和测试集上达到 0.324 和 0.311 的相关系数。
• 融合策略展现出明显的互补性，因为联合表征优于任一单独模型，证实了多样化学习表征的价值。