[论文解读] Real Additive Margin Softmax for Speaker Verification

Lantian Li, Ruiqian Nai+1 more|arXiv (Cornell University)|Oct 18, 2021

Speech Recognition and Synthesis被引用 5

一句话总结

本文指出，广泛使用的加法边缘Softmax（AM-Softmax）损失并未真正实现最大边缘训练，原因在于其缺乏包含最大操作的恰当边缘函数。为纠正此问题，作者提出了真实AM-Softmax（Real AM-Softmax），通过在边缘项上应用max(0, ·)函数，强制实现标准的最大边缘目标，从而在VoxCeleb1、SITW和CNCeleb数据集上均取得一致的性能提升，尤其在挑战性条件下表现更优。

ABSTRACT

The additive margin softmax (AM-Softmax) loss has delivered remarkable performance in speaker verification. A supposed behavior of AM-Softmax is that it can shrink within-class variation by putting emphasis on target logits, which in turn improves margin between target and non-target classes. In this paper, we conduct a careful analysis on the behavior of AM-Softmax loss, and show that this loss does not implement real max-margin training. Based on this observation, we present a Real AM-Softmax loss which involves a true margin function in the softmax training. Experiments conducted on VoxCeleb1, SITW and CNCeleb demonstrated that the corrected AM-Softmax loss consistently outperforms the original one. The code has been released at https://gitlab.com/csltstu/sunine.

研究动机与目标

• 识别AM-Softmax中导致其无法真正实现最大边缘训练的根本缺陷。
• 解决现有基于边缘的Softmax损失缺乏包含max(0, ·)操作的恰当边缘函数的问题。
• 提出一种改进的损失函数——真实AM-Softmax，通过引入真正的边缘函数，强制实现标准的最大边缘训练。
• 在包括VoxCeleb1、SITW和CNCeleb在内的多样化、具有挑战性的说话人验证基准上，验证真实AM-Softmax的有效性。
• 证明改进的训练稳定性和泛化能力源于对困难负样本更优的处理。

提出的方法

• 作者重新表达AM-Softmax损失，以分离出边缘项，并发现其缺乏涉及max(0, d_p - d_n + m)的标准化最大边缘公式。
• 通过在边缘项上引入max(0, ·)函数，对损失进行修改，提出真实AM-Softmax，确保仅当样本接近正样本对时（即困难负样本）才施加损失。
• 新损失函数定义为 ℒ_Real_AM = -1/N ∑ log[ e^{s(cos(θ_yi,i) - m)} / (e^{s(cos(θ_yi,i) - m)} + ∑_{j≠yi} e^{s(cos(θ_j,i))}) ]，仅当 cos(θ_yi,i) - m > 0 时成立，否则边缘项为零。
• 模型使用x-vector架构进行训练，其中ResNet34用于帧级特征提取，统计池化用于获得语音段级表示。
• 最终的说话人嵌入为最后一层全连接层输出的512维特征，推理阶段使用余弦距离进行评分。
• 超参数m和s在开发集上进行调优，且为保证公平比较，s在AM-Softmax和真实AM-Softmax中保持一致。

实验结果

研究问题

• RQ1 标准AM-Softmax损失是否真正实现了如预期的最大边缘训练？
• RQ2 在边缘函数中省略max(0, ·)操作对模型泛化能力及对困难负样本的鲁棒性有何影响？
• RQ3 通过强制实现标准最大边缘训练的校正边缘函数，是否能在多样化说话人验证基准上带来一致的性能提升？
• RQ4 在具有挑战性的测试条件下（如同性别和同国籍样本对），真实AM-Softmax与AM-Softmax相比表现如何？
• RQ5 该修正方法是否可推广至其他基于边缘的Softmax损失（如AAM-Softmax）？

主要发现

• 真实AM-Softmax在所有评估数据集（包括VoxCeleb1、SITW和CNCeleb）上均持续优于标准AM-Softmax。
• 在VoxCeleb1-H上，该数据集包含更具挑战性的同性别和同国籍样本对，真实AM-Softmax实现了相对提升，表明其在困难条件下的泛化能力更强。
• 在CNCeleb上，真实AM-Softmax在m = 0.20和s = 30设置下达到EER为11.049%，优于AM-Softmax的11.450%。
• 开发集和评估集上的性能趋势与真实AM-Softmax完全一致，表明其训练更加稳定可靠，优于AM-Softmax。
• 性能提升虽小但稳定，表明对边缘函数的修正有效且合理。
• 作者推测，通过应用相同的真正边缘校正方法，其他基于边缘的损失（如AAM-Softmax）也可获得类似改进。