[论文解读] Inducing Features of Random Fields

S. Della Pietra, V. Della Pietra+1 more|arXiv (Cornell University)|Jun 13, 1995

Neural Networks and Applications被引用 63

一句话总结

该论文提出了一种贪婪的、迭代的算法，用于在随机场中通过逐步添加支持在日益复杂的子图上的势函数（特征）来诱导特征，利用迭代缩放优化权重，以最小化模型分布与经验数据分布之间的Kullback-Leibler散度。该方法构建了具有高参数复杂度的非马尔可夫随机场，成功应用于词素形态建模，诱导出如[a-z]、[a-z][a-z]以及[0-9][0-9]和[a-z][A-Z]等正则表达式形式的特征。

ABSTRACT

We present a technique for constructing random fields from a set of training samples. The learning paradigm builds increasingly complex fields by allowing potential functions, or features, that are supported by increasingly large subgraphs. Each feature has a weight that is trained by minimizing the Kullback-Leibler divergence between the model and the empirical distribution of the training data. A greedy algorithm determines how features are incrementally added to the field and an iterative scaling algorithm is used to estimate the optimal values of the weights. The statistical modeling techniques introduced in this paper differ from those common to much of the natural language processing literature since there is no probabilistic finite state or push-down automaton on which the model is built. Our approach also differs from the techniques common to the computer vision literature in that the underlying random fields are non-Markovian and have a large number of parameters that must be estimated. Relations to other learning approaches including decision trees and Boltzmann machines are given. As a demonstration of the method, we describe its application to the problem of automatic word classification in natural language processing. Key words: random field, Kullback-Leibler divergence, iterative scaling, divergence geometry, maximum entropy, EM algorithm, statistical learning, clustering, word morphology, natural language processing

研究动机与目标

• 开发一种系统化方法，通过从训练数据中逐步添加特征，构建日益复杂的随机场。
• 解决在高维、非马尔可夫随机场模型中选择信息性特征并估计其权重的挑战。
• 提供一种通用的统计建模框架，其泛化能力超越马尔可夫随机场，支持重叠和分层特征。
• 通过原理化的学习方法，实现在自然语言处理任务中，特别是词素形态分析中的自动特征发现。

提出的方法

• 该方法通过逐步在日益增大的子图上添加特征，构建随机场，起始于一个均匀基础模型。
• 每个特征是一个势函数（例如，字符类别或n-gram模式的指示函数），并带有可训练权重。
• 通过迭代缩放优化特征权重，以最小化模型分布与经验数据分布之间的Kullback-Leibler散度。
• 贪婪算法基于能最大程度减少散度的特征来选择下一个添加的特征，确保逐步改进。
• 该算法支持重叠特征，超越决策树，实现更丰富的建模能力。
• 该框架可扩展至条件指数模型，使其适用于结构化预测任务。

实验结果

研究问题

• RQ1 如何逐步构建随机场，以更好地逼近训练数据的经验分布？
• RQ2 在贪婪的、迭代的特征诱导过程中，应依据何种标准选择新特征？
• RQ3 如何高效估计特征权重，以最小化与经验分布的散度？
• RQ4 该方法在无需预先特征工程的情况下，能在多大程度上发现词素形态中的有意义语言模式？
• RQ5 与决策树、玻尔兹曼机或动态马尔可夫编码等现有方法相比，该方法表现如何？

主要发现

• 该算法成功为词素形态诱导出1,000个特征，包括[a-z]、[a-z][a-z]、[0-9][0-9]和[a-z][A-Z]，其权重分别约为1.04和1.08。
• 诱导出的特征[a-z][a-z]的权重为1.08，表明在英语单词中相邻的小写字母对出现的概率显著更高。
• 特征[0-9][0-9]的权重被赋予0.85，表明两位数字序列的出现频率低于均匀分布下的预期。
• 从最终模型中进行Gibbs采样生成了诸如'was'、'there'、'to'、'will'和'proveral'等类似英语的字符串，表明其语言学合理性。
• 该方法通过支持重叠的高阶特征，成功捕捉了非马尔可夫依赖关系，优于基线模型。
• 该框架可推广至条件指数模型，使其适用于机器翻译等任务。