[论文解读] Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation
Audio ALBERT（AALBERT）是一个参数高效的自监督音频模型，在各层之间共享权重，在参数大约少于 Mockingjay 91% 的情况下实现与其相媲美的音素和说话人分类性能；中间层编码了更多的音素和说话人信息。
For self-supervised speech processing, it is crucial to use pretrained models as speech representation extractors. In recent works, increasing the size of the model has been utilized in acoustic model training in order to achieve better performance. In this paper, we propose Audio ALBERT, a lite version of the self-supervised speech representation model. We use the representations with two downstream tasks, speaker identification, and phoneme classification. We show that Audio ALBERT is capable of achieving competitive performance with those huge models in the downstream tasks while utilizing 91\% fewer parameters. Moreover, we use some simple probing models to measure how much the information of the speaker and phoneme is encoded in latent representations. In probing experiments, we find that the latent representations encode richer information of both phoneme and speaker than that of the last layer.
研究动机与目标
- 推动高效的语音表征自监督学习，以便在资源受限的情况下实现部署。
- 通过将 ALBERT 风格的权重共享应用于音频变换器来研究参数效率。
- 在音素与说话人分类任务上评估 AALBERT，以便与 Mockingjay 进行比较。
- 探测分层表征，以理解音素和说话人信息被编码在何处。
提出的方法
- 通过在各层之间共享参数，将 ALBERT 风格的权重共享适用于基于 Transformer 的语音模型（Audio ALBERT）。
- 使用 cmvn 的掩蔽光谱重建来进行预训练，以恢复对数线性光谱，并采用特定的掩蔽/噪声方案。
- 在特征提取和微调设置下，将 AALBERT 与 Mockingjay（12L/6L/3L）在音素和说话人分类上进行比较。
- 使用不同复杂度的探测分类器，评估各层的音素和说话人信息。
- 分析注意力分布，以理解逐层冗余与信息编码。
实验结果
研究问题
- RQ1一个轻量、权重共享的 Transformer（AALBERT）是否能够在显著减少参数的同时达到更大规模预训练音频模型（Mockingjay）的下游性能？
- RQ2预训练音频模型的哪些层编码最多的音素与说话人信息？
- RQ3层深度如何影响 AALBERT 与 Mockingjay 的音素和说话人探测性能？
- RQ4注意力分布向我们揭示了 Audio ALBERT 中参数共享与层冗余的什么信息？
主要发现
- AALBERT 的音素分类准确率与 Mockingjay 相当，但参数减少了 91%。
- AALBERT 也在下游说话人分类任务上达到与 Mockingjay 相同的性能，且参数显著更少（例如 12L 配置下为 7.4M 对 84.3M）。
- 探测结果显示，中间层在音素和说话人信息方面比最后一层包含更多信息，在两种模型中均然如此。
- 对于两种模型，中间表示在音素和说话人探测任务中优于最后一层。
- 注意力分析显示各层之间存在冗余，支持通过权重共享来压缩参数且不牺牲表征质量的思路。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。