[论文解读] DinoSR: Self-Distillation and Online Clustering for Self-supervised Speech Representation Learning

Alexander H. Liu, Heng-Jui Chang+3 more|arXiv (Cornell University)|May 17, 2023

Speech Recognition and Synthesis被引用 6

一句话总结

DinoSR 提出了一种自监督语音表征学习框架，结合自蒸馏与在线聚类，从原始音频中学习有意义的离散声学单元。通过使用教师网络生成上下文嵌入，应用在线聚类发现类似音素的码书，并将这些单元蒸馏到学生网络中，DinoSR 在 LibriSpeech 和无监督声学单元发现任务上取得了最先进性能，学习到的高质量、可解释的离散单元与人类定义的音素类别高度对齐。

ABSTRACT

In this paper, we introduce self-distillation and online clustering for self-supervised speech representation learning (DinoSR) which combines masked language modeling, self-distillation, and online clustering. We show that these concepts complement each other and result in a strong representation learning model for speech. DinoSR first extracts contextualized embeddings from the input audio with a teacher network, then runs an online clustering system on the embeddings to yield a machine-discovered phone inventory, and finally uses the discretized tokens to guide a student network. We show that DinoSR surpasses previous state-of-the-art performance in several downstream tasks, and provide a detailed analysis of the model and the learned discrete units.

研究动机与目标

• 开发一种利用离散单元提升性能与可解释性的自监督语音表征学习方法。
• 通过端到端训练与在线聚类，解决先前方法（如 HuBERT）中迭代式启发式声学单元发现的局限性。
• 通过与自蒸馏集成的无梯度在线聚类机制，提升码书使用效率与聚类质量。
• 证明所学习的离散单元在语义上具有意义，并与人类定义的音素单元高度对齐。
• 在下游语音识别与无监督声学单元发现基准上实现最先进性能。

提出的方法

• 模型使用教师网络从非掩码音频输入中提取上下文嵌入。
• 在线聚类系统处理教师网络的嵌入，生成动态的、机器发现的离散单元码书，作为音素库存。
• 学生网络通过使用在线聚类分配生成的离散标记作为目标，进行自蒸馏训练。
• 教师网络通过学生参数的指数移动平均进行更新，实现在无标签数据下的稳定训练。
• 框架集成掩码语言建模（MLM）以实现掩码输入的重建，增强上下文表征学习。
• 该方法端到端运行，超参数极少，避免了迭代优化或离线聚类步骤。

Figure 1: An overview of DinoSR: the teacher network is an exponential moving average of the student network and takes unmasked speech as input to extract target features. Online clustering is applied to multiple layers of the teacher, each with a separate codebook. The student network is trained to

实验结果

研究问题

• RQ1 在线聚类结合自蒸馏是否能提升自监督语音表征的质量与可解释性？
• RQ2 DinoSR 的端到端训练与在线聚类相比，与 HuBERT 等迭代式离线方法在性能与码书质量方面有何差异？
• RQ3 DinoSR 学习到的离散单元在多大程度上与人类定义的音素单元对齐？
• RQ4 所提出的方法是否在语音识别与无监督声学单元发现基准上实现了最先进性能？
• RQ5 码书在捕捉语音单元的长尾分布（如高频与低频音素）方面有多有效？

主要发现

• DinoSR 在 LibriSpeech 验证集上的码书困惑度为 179.2，优于 VQ-APC（72.1）与联合训练 APC（135.0），表明码书使用效率与质量更优。
• 模型的聚类纯度为 0.19，音素纯度为 0.58，优于 MFCC 上的离线 K-means（0.06 与 0.30），并匹配或超过 HuBERT-iter2（0.15 与 0.61）。
• DinoSR 的 PNMI 得分为 0.57，表明学习到的单元与音素类别具有强对齐性。
• 模型在 256 个码书单元中使用了 217 个活跃聚类，表明码书利用率高，且实现了细粒度表征学习。
• P(phone|code) 的可视化显示，每个码字主要与单一音素相关联，且声学上相似的音素（如 /sp/ 与 /sil/）共享聚类。
• 使用码书映射的帧级音素错误率为 58.2%，证实所学单元在音素分类任务中的实际效用。

Figure 2: The trade-off between performance (WER on LibriSpeech dev-other) and data efficiency (hours of speech the model processed in total during pre-training) for different methods.