[论文解读] Language Modeling for Code-Switched Data: Challenges and Approaches

Ganji Sreeram, Rohit Sinha|arXiv (Cornell University)|Nov 9, 2017

Natural Language Processing Techniques参考文献 11被引用 5

一句话总结

本文提出了一种用于印地语-英语代码混用（印英混用）文本的事实化循环神经网络语言模型（RNN-LM），通过整合词性（POS）标签和一种新型代码混用因子（CS-factor），以改善困惑度。CS-factor 独立于词性捕捉代码混用模式，在印英混用测试数据上实现了 22.97 的困惑度，显著优于基线模型，并在仅使用 POS 特征的基础上实现了叠加性提升。

ABSTRACT

Lately, the problem of code-switching has gained a lot of attention and has emerged as an active area of research. In bilingual communities, the speakers commonly embed the words and phrases of a non-native language into the syntax of a native language in their day-to-day communications. The code-switching is a global phenomenon among multilingual communities, still very limited acoustic and linguistic resources are available as yet. For developing effective speech based applications, the ability of the existing language technologies to deal with the code-switched data can not be over emphasized. The code-switching is broadly classified into two modes: inter-sentential and intra-sentential code-switching. In this work, we have studied the intra-sentential problem in the context of code-switching language modeling task. The salient contributions of this paper includes: (i) the creation of Hindi-English code-switching text corpus by crawling a few blogging sites educating about the usage of the Internet (ii) the exploration of the parts-of-speech features towards more effective modeling of Hindi-English code-switched data by the monolingual language model (LM) trained on native (Hindi) language data, and (iii) the proposal of a novel textual factor referred to as the code-switch factor (CS-factor), which allows the LM to predict the code-switching instances. In the context of recognition of the code-switching data, the substantial reduction in the PPL is achieved with the use of POS factors and also the proposed CS-factor provides independent as well as additive gain in the PPL.

研究动机与目标

• 为解决印地语-英语（印英混用）文本中低资源代码混用语言建模的挑战，其中外来词缺乏上下文支持。
• 探讨词性（POS）特征在提升单语印地语 RNN-LM 在代码混用数据上性能方面的有效性。
• 提出并评估一种新型文本特征——代码混用因子（CS-factor），以独立于词上下文的方式建模代码混用模式。
• 证明结合 POS 和 CS-因子可在基线模型和事实化模型之上实现困惑度的叠加性改进。

提出的方法

• 通过爬取教育类博客网站，收集了印地语-英语代码混用文本语料，构建用于印英混用语言建模的训练数据集。
• 在纯印地语和混合印英混用数据上训练了单语印地语 RNN-LM，并使用 POS 标签作为因子，以在代码混用过程中保持句法上下文。
• 引入了一种新型代码混用因子（CS-factor），用于基于语言和结构线索建模在印地语与英语词语之间切换的可能性。
• 通过引入 POS 和 CS-因子，将 RNN-LM 扩展为事实化模型，实现对词序列和代码混用事件的联合预测。
• 使用困惑度（PPL）作为在印英混用和纯印地语测试集上的评估指标，并采用三重交叉验证以确保结果稳健性。
• 将事实化 RNN-LM 的性能与五元 n-gram LM、标准 RNN-LM 和基于类别 RNN-LM 进行对比，以验证所提特征的有效性。

实验结果

研究问题

• RQ1 词性（POS）特征能否提升单语印地语 RNN-LM 在印地语-英语代码混用文本上的性能？
• RQ2 所提出的代码混用因子（CS-factor）是否能在建模代码混用语言模式方面提供独立且可度量的性能提升？
• RQ3 POS 和 CS-因子的联合效应与单独使用任一特征相比，在降低代码混用数据的困惑度方面表现如何？
• RQ4 在低资源代码混用数据上，CS-factor 的引入在多大程度上优于传统语言建模方法？

主要发现

• 仅使用 POS 因子的事实化 RNN-LM 将印英混用测试数据的困惑度（PPL）从标准 RNN-LM 的 89.67 降低至 39.03，显示出显著改进。
• 所提出的 CS-factor 即使不依赖 POS 特征，也能将 PPL 降低至 36.52，表明其在无上下文依赖时依然有效。
• POS 和 CS-因子的结合在印英混用测试数据上实现了最低的 PPL 22.97，表明两种特征具有叠加性增益。
• 同时包含两种特征的事实化 RNN-LM 在印英混用测试集上达到 PPL 38.89，优于五元 n-gram LM（92.11）和标准 RNN-LM（89.67）。
• 在带有 POS 标签的印地语-英语数据上训练的模型在印英混用数据上的泛化能力优于在纯印地语数据上的表现，原因在于其对未登录词（OOV）英语词的处理更优。
• CS-factor 虽易于估算，但效果显著，尤其在低上下文代码混用场景中，当外来词携带极少句法信息时表现更佳。