[论文解读] Source-Critical Reinforcement Learning for Transferring Spoken Language Understanding to a New Language

He Bai, Yu Zhou+4 more|arXiv (Cornell University)|Aug 19, 2018

Topic Modeling参考文献 23被引用 5

一句话总结

本文提出源关键强化学习（SCRT）以提升低资源语言迁移在语音语言理解（SLU）中的表现，通过使用微调的神经机器翻译（NMT）结合强化学习，以保留槽标签并适应文化差异。通过优化槽保留率（SKR）并整合文化感知槽适配，SCRT将槽F1提升至97%，领域准确率达到84%，在F1上较简单翻译方法提升超过71%，在准确率上提升22%。

ABSTRACT

To deploy a spoken language understanding (SLU) model to a new language, language transferring is desired to avoid the trouble of acquiring and labeling a new big SLU corpus. Translating the original SLU corpus into the target language is an attractive strategy. However, SLU corpora consist of plenty of semantic labels (slots), which general-purpose translators cannot handle well, not to mention additional culture differences. This paper focuses on the language transferring task given a tiny in-domain parallel SLU corpus. The in-domain parallel corpus can be used as the first adaptation on the general translator. But more importantly, we show how to use reinforcement learning (RL) to further finetune the adapted translator, where translated sentences with more proper slot tags receive higher rewards. We evaluate our approach on Chinese to English language transferring for SLU systems. The experimental results show that the generated English SLU corpus via adaptation and reinforcement learning gives us over 97% in the slot F1 score and over 84% accuracy in domain classification. It demonstrates the effectiveness of the proposed language transferring method. Compared with naive translation, our proposed method improves domain classification accuracy by relatively 22%, and the slot filling F1 score by relatively more than 71%.

研究动机与目标

• 解决缺乏大规模领域内平行语料时低资源SLU迁移的挑战。
• 在仅使用少量平行数据的前提下，提升翻译后SLU数据中的槽保留与文化适宜性。
• 开发一种方法，对神经机器翻译进行微调以满足SLU特定需求，超越标准翻译任务。
• 证明强化学习可有效优化低资源语言迁移中的槽完整性与语义准确性。

提出的方法

• 使用少量领域内平行SLU语料微调通用NMT模型，以提升初始翻译质量。
• 将槽保留率（SKR）定义为评估翻译句子中槽保留程度的关键指标。
• 应用强化学习（RL）使用单语目标语言数据进一步微调已适配的NMT模型。
• 设计奖励函数，优先选择SKR更高的翻译，以鼓励正确保留槽标签。
• 通过将源语言特异性实体（如“紫禁城”→“伦敦塔”）替换为目标语言中的对应表达，实现文化感知槽适配。
• 采用迭代训练策略，结合监督微调与强化学习，联合优化翻译质量与槽准确率。

实验结果

研究问题

• RQ1 强化学习能否有效提升低资源SLU语言迁移中的槽保留？
• RQ2 与简单翻译和基线NMT相比，源关键强化学习在保留语义槽方面表现如何？
• RQ3 槽值的文化适配在多大程度上提升了下游SLU性能？
• RQ4 在低资源设置下，基于单语数据的强化学习微调是否优于仅使用监督微调？
• RQ5 SKR能否作为引导SLU翻译中强化学习优化的可靠指标？

主要发现

• 所提出的SCRT方法将中文到英文SLU迁移的槽F1分数从基线的93%提升至97%。
• 使用SCRT后，领域分类准确率从82%提升至84%，相比简单翻译方法相对提升22%。
• 与简单翻译相比，SCRT在槽F1分数上实现了71%的相对提升，表明在槽保真度方面有显著增益。
• SL800+RL60+SL40模型（结合强化学习与额外监督微调）在所有指标上均达到最高性能。
• 注意力可视化结果表明，SCRT通过优化注意力机制，纠正了槽翻译错位问题（如“song”→“artist”）。
• SKR指标能有效引导强化学习训练，但最大似然预训练本身会降低SKR，凸显了任务特定优化的必要性。