[论文解读] Cynical Selection of Language Model Training Data

Amittai Axelrod|arXiv (Cornell University)|Sep 7, 2017

Topic Modeling参考文献 5被引用 12

一句话总结

本文提出了一种名为 'cynical selection' 的贪心、基于熵的训练数据选择方法，用于语言模型和机器翻译系统。该方法在 Moore-Lewis 交叉熵差异方法的基础上进行改进，通过动态基于熵增益对句子进行评分，确保接近最优的词汇覆盖率、自动停止机制以及真实单位（即熵的变化比特数），从而将 OOV 标记数量减少 80%。

ABSTRACT

The Moore-Lewis method of "intelligent selection of language model training data" is very effective, cheap, efficient... and also has structural problems. (1) The method defines relevance by playing language models trained on the in-domain and the out-of-domain (or data pool) corpora against each other. This powerful idea-- which we set out to preserve-- treats the two corpora as the opposing ends of a single spectrum. This lack of nuance does not allow for the two corpora to be very similar. In the extreme case where the come from the same distribution, all of the sentences have a Moore-Lewis score of zero, so there is no resulting ranking. (2) The selected sentences are not guaranteed to be able to model the in-domain data, nor to even cover the in-domain data. They are simply well-liked by the in-domain model; this is necessary, but not sufficient. (3) There is no way to tell what is the optimal number of sentences to select, short of picking various thresholds and building the systems. We present a greedy, lazy, approximate, and generally efficient information-theoretic method of accomplishing the same goal using only vocabulary counts. The method has the following properties: (1) Is responsive to the extent to which two corpora differ. (2) Quickly reaches near-optimal vocabulary coverage. (3) Takes into account what has already been selected. (4) Does not involve defining any kind of domain, nor any kind of classifier. (6) Knows approximately when to stop. This method can be used as an inherently-meaningful measure of similarity, as it measures the bits of information to be gained by adding one text to another.

研究动机与目标

• 为解决 Moore-Lewis 交叉熵差异方法的局限性，该方法在域内和域外语料过于相似时会失效，且缺乏合理的停止准则。
• 开发一种对语料差异具有响应能力的数据选择方法，避免依赖领域定义或分类器，并以真实单位（熵的变化比特数）进行操作。
• 实现自动、高效且可扩展的训练数据选择，以最大化词汇覆盖率，同时最小化未登录词（OOV）数量。
• 通过基于熵增益自动确定最优停止点，消除对超参数调优（例如数据规模的网格搜索）的需求。

提出的方法

• 该方法通过逐个选择句子来逐步减少代表性（域内）语料的熵，以最大化熵的减少量。
• 采用贪心、子模的选取过程，每个句子根据其在熵减少上的边际增益进行评分，确保随着选择数据的增多，收益递减。
• 该算法持续估算熵的变化，并在下一个句子的预期增益变为（并保持）正值时停止。
• 通过为每个词唯一选择一次句子来处理重复项，防止冗余包含，同时保留词汇多样性。
• 该方法无需训练独立的语言模型，也无需定义领域边界；相反，它直接比较在添加每个候选句子前后代表性语料的熵。
• 它使用基于熵增益的特征函数，该函数具有可解释性且单位一致（以比特为单位），支持跨系统比较。

实验结果

研究问题

• RQ1 能否设计一种数据选择方法，自动确定停止选择数据的时机，而无需进行网格搜索或超参数调优？
• RQ2 如何使数据选择对域内与域外语料之间实际差异程度具有响应能力，即使两者相似？
• RQ3 能否设计一种方法，在不依赖领域特定分类器或标注数据的情况下，实现接近最优的词汇覆盖率并最小化 OOV 标记？
• RQ4 是否可能定义一种具有真实、可解释单位（如熵的比特数）的数据选择方法，使其在不同系统和任务间具有可比性？
• RQ5 基于贪心的熵选择策略是否满足子模性，从而提供近似最优性的理论保证？

主要发现

• 与 Moore-Lewis 交叉熵差异方法相比，cynical selection 方法将未登录词（OOV）标记率降低了约 80%。
• 该方法在选择过程的早期阶段即实现了接近最优的词汇覆盖率，主要通过至少选择一次代表性语料中每个唯一词汇来实现。
• 该算法通过检测下一个句子的边际熵增益变为（并保持）正值时，自动确定最优停止点。
• 该方法本质上具有子模性，即随着已选句子数量的增加，添加新句子的增量收益递减，从而确保理论上的效率。
• 相关性得分以真实单位（熵的变化比特数）表示，支持在不同模型、系统和语言对之间直接比较。
• 该方法无需定义领域、标注数据或训练辅助模型，因此具有广泛的适用性且计算效率高。