[论文解读] Data Selection with Cluster-Based Language Difference Models and Cynical Selection

L. Santamaría, Amittai Axelrod|arXiv (Cornell University)|Apr 9, 2019

Natural Language Processing Techniques参考文献 16被引用 9

一句话总结

本文提出并评估了两种用于机器翻译的新型数据选择方法：基于聚类的语言差异模型（使用布朗聚类）和愤世嫉俗式数据选择。通过用无监督词聚类替代词性标注，并应用一种贪心的迭代选择策略，这两种方法在困惑度、OOV率以及领域内句长匹配方面均优于标准的Moore-Lewis交叉熵差异方法，且愤世嫉俗式选择在训练收敛速度上快84%，并实现了更优的词汇覆盖率。

ABSTRACT

We present and apply two methods for addressing the problem of selecting relevant training data out of a general pool for use in tasks such as machine translation. Building on existing work on class-based language difference models, we first introduce a cluster-based method that uses Brown clusters to condense the vocabulary of the corpora. Secondly, we implement the cynical data selection method, which incrementally constructs a training corpus to efficiently model the task corpus. Both the cluster-based and the cynical data selection approaches are used for the first time within a machine translation system, and we perform a head-to-head comparison. Our intrinsic evaluations show that both new methods outperform the standard Moore-Lewis approach (cross-entropy difference), in terms of better perplexity and OOV rates on in-domain data. The cynical approach converges much quicker, covering nearly all of the in-domain vocabulary with 84% less data than the other methods. Furthermore, the new approaches can be used to select machine translation training data for training better systems. Our results confirm that class-based selection using Brown clusters is a viable alternative to POS-based class-based methods, and removes the reliance on a part-of-speech tagger. Additionally, we are able to validate the recently proposed cynical data selection method, showing that its performance in SMT models surpasses that of traditional cross-entropy difference methods and more closely matches the sentence length of the task corpus.

研究动机与目标

• 为解决从大规模通用语料中选择相关训练数据以适应特定领域机器翻译任务的挑战。
• 克服Moore-Lewis交叉熵差异方法的局限性，该方法依赖于生成建模框架内的判别性评分，可能倾向于选择短而常见的句子。
• 探究布朗聚类是否可作为词性标注基的类别化语言差异模型在语言和情境上均无关的替代方案。
• 在神经机器翻译背景下，实证验证近期提出的愤世嫉俗式数据选择方法，并与现有基线方法进行性能比较。
• 通过降低未登录词（OOV）率并更好地匹配领域内句长分布，提升数据选择的效率与效果。

提出的方法

• 将训练语料和任务语料中的词语替换为布朗聚类标签（如20或100个聚类），以构建一种不依赖词性标注的类别化表示，从而捕捉词汇语义。
• 使用聚类表示训练两个语言模型——一个在领域内任务数据上，另一个在通用语料池上——以计算交叉熵差异得分。
• 应用愤世嫉俗式数据选择算法，该算法基于一种贪心的判别性得分，平衡与任务的相关性与已选句子之间的多样性。
• 采用Moore-Lewis准则的修改版本，其中得分计算为任务语言模型与语料池语言模型在每条句子上的交叉熵绝对差值。
• 对于双语数据选择，将平行语料库源语言和目标语言侧的交叉熵差异得分进行组合。
• 根据选择得分对句子进行排序，并选择前n个句子（或句子对）用于训练，其中愤世嫉俗方法会根据累积收益动态调整选择过程。

实验结果

研究问题

• RQ1 与基于词性标注或标准Moore-Lewis方法相比，基于布朗聚类的语言差异模型是否能提升机器翻译中的数据选择性能？
• RQ2 在低资源或领域自适应的机器翻译设置下，愤世嫉俗式数据选择方法是否收敛更快且性能更优？
• RQ3 与基线方法相比，所提出的方法在多大程度上降低了未登录词（OOV）率，并更好地匹配了领域内句长分布？
• RQ4 使用无监督聚类而非词性标注，在低资源或领域分布偏移场景下，对数据选择的鲁棒性和泛化能力有何影响？
• RQ5 在计算效率与模型质量之间，使用愤世嫉俗式选择与基于聚类或标准Moore-Lewis选择相比，存在怎样的权衡？

主要发现

• 基于聚类的语言差异模型相比标准Moore-Lewis方法，降低了OOV率，并在领域内数据上提升了困惑度，分别在200万句和600万句时达到29.19 BLEU和29.90 BLEU。
• 愤世嫉俗式数据选择方法在训练数据量减少84%的情况下实现收敛，且几乎覆盖了所有领域内词汇，使用更少的句子即达成目标。
• 愤世嫉俗式选择生成的子语料平均句长（19个词）与领域内平均句长高度一致，而Moore-Lewis变体生成的句子显著短于语料池的平均句长。
• 愤世嫉俗方法在BLEU得分上全面优于所有Moore-Lewis变体，在单语数据上分别在200万句和600万句时达到29.33 BLEU和29.69 BLEU，在双语数据上分别达到29.34 BLEU和29.93 BLEU。
• 尽管内存占用较高（60GB）且运行时间较长（1天），愤世嫉俗方法仍展现出更优的性能，并与领域内特征更好地对齐，验证了其在SMT系统中的有效性。
• 基于聚类的方法消除了对词性标注器的依赖，使其在低资源或领域分布偏移场景下更具鲁棒性，因为在这些场景中词性工具可能失效或不可用。