[论文解读] End-to-End Speaker Height and age estimation using Attention Mechanism with LSTM-RNN

Manav Kaushik, Van Tung Pham+1 more|arXiv (Cornell University)|Jan 13, 2021

Human Pose and Action Recognition被引用 6

一句话总结

该论文提出了一种端到端的说话人身高与年龄估计模型，通过将新型交叉注意力机制与LSTM-RNN结合，捕捉语音特征中的长期依赖关系。通过同时在时间帧和编码器单元之间进行注意力计算，该模型在TIMIT数据集上实现了最先进性能，身高估计的RMSE为6.92cm（男性）和6.34cm（女性），年龄估计的RMSE为7.85年（男性）和8.75年（女性），同时揭示了元音音素对估计最具信息量。

ABSTRACT

Automatic height and age estimation of speakers using acoustic features is widely used for the purpose of human-computer interaction, forensics, etc. In this work, we propose a novel approach of using attention mechanism to build an end-to-end architecture for height and age estimation. The attention mechanism is combined with Long Short-Term Memory(LSTM) encoder which is able to capture long-term dependencies in the input acoustic features. We modify the conventionally used Attention -- which calculates context vectors the sum of attention only across timeframes -- by introducing a modified context vector which takes into account total attention across encoder units as well, giving us a new cross-attention mechanism. Apart from this, we also investigate a multi-task learning approach for jointly estimating speaker height and age. We train and test our model on the TIMIT corpus. Our model outperforms several approaches in the literature. We achieve a root mean square error (RMSE) of 6.92cm and6.34cm for male and female heights respectively and RMSE of 7.85years and 8.75years for male and females ages respectively. By tracking the attention weights allocated to different phones, we find that Vowel phones are most important whistlestop phones are least important for the estimation task.

研究动机与目标

• 开发一种基于声学特征的端到端深度学习框架，用于联合估计说话人身高与年龄。
• 通过引入一种新型交叉注意力机制，同时关注时间帧和编码器隐藏单元，以提升性能。
• 研究多任务学习与性别作为特征对估计准确率的影响。
• 通过注意力权重分析，探究哪些语音单元对说话人身体参数估计最具预测性。

提出的方法

• 模型使用单向LSTM编码器，从原始声学特征中提取长期依赖关系。
• 一种新型交叉注意力机制计算两个上下文向量：一个通过在时间帧上进行注意力计算，另一个通过在编码器隐藏单元上进行注意力计算。
• 最终的上下文向量通过拼接并变换这两个向量生成，以更好地表征说话人特征。
• 模型采用多任务学习，联合预测身高与年龄，共享不同任务之间的表征学习。
• 性别作为二元输入特征引入，以提升估计性能。
• 网络使用Adam优化器进行训练，并在LSTM层和全连接层应用20%的dropout正则化，以防止过拟合。

实验结果

研究问题

• RQ1 是否一种同时关注时间帧和编码器单元的交叉注意力机制，能够优于传统注意力机制，提升说话人身高与年龄估计性能？
• RQ2 与单任务学习相比，对身高与年龄估计采用多任务学习是否能提升模型性能？
• RQ3 将性别信息作为特征引入，是否能提升身高与年龄预测的准确性？
• RQ4 通过注意力权重分析，哪些语音单元（如元音、清塞音等）对说话人身高与年龄估计最具预测性？

主要发现

• 所提出的交叉注意力机制优于传统注意力机制和最后隐藏状态基线模型，在所有设置下均实现了最低的RMSE。
• 在TIMIT测试集上，该模型对男性和女性的身高估计RMSE分别为6.92cm和6.34cm。
• 在年龄估计方面，该模型的RMSE为7.85年（男性）和8.75年（女性），优于多种先前方法。
• 注意力分析显示，元音音素获得最高的注意力权重，表明其与声道长度及说话人特征具有强相关性。
• 清塞音和部分擦音音素获得最低的注意力权重，可能是因为其与声门声道参与度较低。
• 将性别作为二元特征引入后，所有指标的性能均得到一致提升，证实了其在估计任务中的相关性。