[论文解读] Learning with Scope, with Application to Information Extraction and Classification

David M. Blei, J. Andrew Bagnell+1 more|arXiv (Cornell University)|Dec 12, 2012

Gaussian Processes and Bayesian Inference参考文献 5被引用 6

一句话总结

该论文提出了一种分层概率模型，联合学习全局特征（例如词元内容）和作用范围受限的局部特征（例如网页中的词元格式），通过为每个数据子集估计的隐随机参数建模局部规律性。在推理过程中，该方法通过适应局部模式，显著提升了仅使用全局特征的模型在分类和信息抽取任务上的性能。

ABSTRACT

In probabilistic approaches to classification and information extraction, one typically builds a statistical model of words under the assumption that future data will exhibit the same regularities as the training data. In many data sets, however, there are scope-limited features whose predictive power is only applicable to a certain subset of the data. For example, in information extraction from web pages, word formatting may be indicative of extraction category in different ways on different web pages. The difficulty with using such features is capturing and exploiting the new regularities encountered in previously unseen data. In this paper, we propose a hierarchical probabilistic model that uses both local/scope-limited features, such as word formatting, and global features, such as word content. The local regularities are modeled as an unobserved random parameter which is drawn once for each local data set. This random parameter is estimated during the inference process and then used to perform classification with both the local and global features--- a procedure which is akin to automatically retuning the classifier to the local regularities on each newly encountered web page. Exact inference is intractable and we present approximations via point estimates and variational methods. Empirical results on large collections of web data demonstrate that this method significantly improves performance from traditional models of global features alone.

研究动机与目标

• 为解决利用作用范围受限特征（如格式或布局模式）的挑战，这些特征仅在特定数据子集（如网页）中具有预测能力。
• 在推理过程中，通过为每个数据子集估计的隐随机参数，对局部规律性进行建模。
• 通过在统一的概率框架中结合局部与全局特征，提升分类与信息抽取性能。
• 通过在推理时对新数据分布中的局部模式进行在线重调参，实现分类器的自动适应。

提出的方法

• 该模型引入一种分层结构，其中每个局部数据集（例如一个网页）都拥有一个控制作用范围受限特征的隐随机参数。
• 局部特征（例如粗体文本、字体大小）以该实例特定参数为条件进行建模，以捕捉数据特有的规律性。
• 全局特征（例如词元内容）则独立建模，并在所有数据子集间共享。
• 由于精确推理不可行，推理过程采用点估计和变分近似方法，从而实现可扩展的学习。
• 模型在训练过程中学习局部参数的分布，并在预测阶段应用这些参数，以适应新数据的局部模式。
• 该框架允许通过为每个实例估计并应用局部规律性，实现分类器对新数据的自动重调参。

实验结果

研究问题

• RQ1 概率模型能否有效同时学习全局特征与在不同数据子集中变化的作用范围受限的局部特征？
• RQ2 如何在未见数据中对局部规律性（如网页中的格式模式）进行建模并实现自适应？
• RQ3 与仅使用全局特征的模型相比，通过分层结构结合局部与全局特征是否能提升分类与信息抽取性能？
• RQ4 像变分方法这样的近似推理技术能否在不产生过高计算成本的前提下，有效学习局部参数？

主要发现

• 与仅依赖全局特征的模型相比，所提出的模型在大规模网页数据集上的性能有显著提升。
• 整合作用范围受限特征显著提高了分类与信息抽取的准确性。
• 通过为每个数据子集使用隐随机参数，模型在推理过程中能有效适应局部数据模式。
• 通过变分方法和点估计实现的近似推理在保持高性能的同时实现了实际可扩展性。
• 实证结果表明，将局部规律性建模为潜在参数，可增强模型对具有不同局部模式的新数据的泛化能力。
• 该方法通过有效捕捉并利用数据特定的格式与结构线索，优于传统的仅使用全局特征的模型。