[论文解读] Cross-Language Speaker Attribute Prediction Using MIL and RL

Sunny Shu, Seyed Sahand Mohammadi Ziabari+1 more|arXiv (Cornell University)|Jan 6, 2026

Speech Recognition and Synthesis被引用 0

一句话总结

本论文通过加入 Domain Adversarial Training (DAT) 和多语言编码器，将 RL-MIL 扩展到多语言设置，以提升跨语言说话属性预测的性能，在少样本和零样本场景下，尤其在性别预测方面展现显著的 Macro-F1 增益。

ABSTRACT

We study multilingual speaker attribute prediction under linguistic variation, domain mismatch, and data imbalance across languages. We propose RLMIL-DAT, a multilingual extension of the reinforced multiple instance learning framework that combines reinforcement learning based instance selection with domain adversarial training to encourage language invariant utterance representations. We evaluate the approach on a five language Twitter corpus in a few shot setting and on a VoxCeleb2 derived corpus covering forty languages in a zero shot setting for gender and age prediction. Across a wide range of model configurations and multiple random seeds, RLMIL-DAT consistently improves Macro F1 compared to standard multiple instance learning and the original reinforced multiple instance learning framework. The largest gains are observed for gender prediction, while age prediction remains more challenging and shows smaller but positive improvements. Ablation experiments indicate that domain adversarial training is the primary contributor to the performance gains, enabling effective transfer from high resource English to lower resource languages by discouraging language specific cues in the shared encoder. In the zero shot setting on the smaller VoxCeleb2 subset, improvements are generally positive but less consistent, reflecting limited statistical power and the difficulty of generalizing to many unseen languages. Overall, the results demonstrate that combining instance selection with adversarial domain adaptation is an effective and robust strategy for cross lingual speaker attribute prediction.

研究动机与目标

• 评估 RL–MIL 在多语言设置下对说话属性预测的跨语言泛化能力。
• 评估多语言嵌入（mBERT，XLM-R）相较于单语言基线对性能的影响。
• 研究域对抗训练（DAT）对语言不变表示和从高资源语言向低资源语言迁移的影响。
• 在多个语言下考察少样本（Twitter）和零样本（VoxCeleb2）转移场景。

提出的方法

• 通过整合多语言编码器（mBERT，XLM-R）来扩展 RL-MIL。
• 加入带有梯度反转层和域分类器的 DAT 模块以诱导语言不变特征。
• 以联合损失进行训练：RL 策略损失、MIL 任务损失和域（语言）分类损失。
• 在 27 种配置（3 种编码器 × 3 种池化头 × 3 种训练框架）和五个随机种子下进行评估。
• 数据集处理包括基于推文的多语言数据（5 种语言）以及从 VoxCeleb2 派生的 40 语言子集，包含带 ASR 转写的 utterances。

Figure 1 : Methodology workflow: extended RL-MIL framework with parallel DAT module for cross-lingual speaker attribute prediction.

实验结果

研究问题

• RQ1 现代多语言嵌入是否可以在 RL–MIL 框架内改善跨语言的说话属性预测？
• RQ2 通过域对抗训练实现语言不变表示学习对跨语言迁移的影响，尤其是从英语到低资源语言？
• RQ3 DAT 相对于其他组件（编码器、池化头）在少样本和零样本设置中的性能提升的相对贡献如何？
• RQ4 性别和年龄预测是否会从多语言迁移和 DAT 中获得不同的收益？

主要发现

• RLMIL-DAT 在 27 种配置下始终优于标准 MIL 和原始 RL–MIL，提升 Macro-F1。
• 在性别预测上收益最大且统计显著，提升达到最多 +0.17 Macro-F1（p ≤ 0.01），具体取决于编码器和池化头。
• 消融分析表明 DAT 是提升的主要驱动因素，通过促进语言不变表示和更好地从英语向低资源语言的迁移来实现。
• 在零样本的 VoxCeleb2 子集上，改进方向性为正，但由于统计功效有限且在 40 语言总体泛化且缺乏目标语言监督的情况下显著性较少。
• 总体结果验证了 RL–MIL 的多语言扩展以及将实例选择与对抗域适配结合用于跨语言说话属性预测的有效性。

(a) Gender (MeanMLP)