[论文解读] MetaPAD: Meta Pattern Discovery from Massive Text Corpora

Meng Jiang, Jingbo Shang+5 more|arXiv (Cornell University)|Mar 13, 2017

Topic Modeling参考文献 23被引用 15

一句话总结

MetaPAD 提出了一种新颖的元模式框架，用于在大规模文本语料库中高效、高质量地发现类型化模式，采用上下文感知的分割、同义模式分组以及自适应的实体类型粒度调整。其在 F1 分数上优于先前的方法（如 PATTY 和 Ollie），最高提升 0.42，且效率更高，在不到 2 小时内处理了 31GB 的推文数据，无需依赖依存句法分析。

ABSTRACT

Mining textual patterns in news, tweets, papers, and many other kinds of text corpora has been an active theme in text mining and NLP research. Previous studies adopt a dependency parsing-based pattern discovery approach. However, the parsing results lose rich context around entities in the patterns, and the process is costly for a corpus of large scale. In this study, we propose a novel typed textual pattern structure, called meta pattern, which is extended to a frequent, informative, and precise subsequence pattern in certain context. We propose an efficient framework, called MetaPAD, which discovers meta patterns from massive corpora with three techniques: (1) it develops a context-aware segmentation method to carefully determine the boundaries of patterns with a learnt pattern quality assessment function, which avoids costly dependency parsing and generates high-quality patterns; (2) it identifies and groups synonymous meta patterns from multiple facets---their types, contexts, and extractions; and (3) it examines type distributions of entities in the instances extracted by each group of patterns, and looks for appropriate type levels to make discovered patterns precise. Experiments demonstrate that our proposed framework discovers high-quality typed textual patterns efficiently from different genres of massive corpora and facilitates information extraction.

研究动机与目标

• 为解决大规模文本挖掘中依存句法分析的局限性，如计算成本高和上下文信息丰富度损失。
• 发现频繁、信息丰富且精确的类型化文本模式——即‘元模式’——以保留实体周围的丰富上下文。
• 在不同类型、上下文和抽取结果之间对同义元模式进行分组，以减少稀疏性并提升知识库的覆盖率。
• 动态调整实体类型粒度，以确保模式分类的精确性。
• 开发一种高效、可扩展的模式发现框架，避免昂贵的句法分析，同时保持高质量输出。

提出的方法

• 使用学习到的模式质量评估函数进行上下文感知的分割，以定义模式边界，无需依存句法分析。
• 基于集成特征（实体类型、上下文词和抽取实例）对同义元模式进行聚类。
• 采用自顶向下和自底向上的类型粒度调整策略，通过分析抽取实例中的实体类型分布，选择最优粒度。
• 使用 C++ 实现分割，Python 实现分组和类型调整，实现与语料规模呈线性可扩展性的高效实现。
• 训练模式质量评估函数，优先选择信息丰富、自包含且精确的子序列作为元模式。
• 框架采用模块化设计，支持对分割、分组和类型调整组件的独立评估。

实验结果

研究问题

• RQ1 如何在不依赖昂贵的依存句法分析的前提下，从大规模文本语料库中发现高质量、上下文丰富且类型化的文本模式？
• RQ2 哪些技术能有效在多个维度（类型、上下文和抽取结果）上对同义元模式进行分组，同时保持语义相似性？
• RQ3 如何自动确定适当的实体类型粒度，以确保发现的模式具有精确性？
• RQ4 与基于依存路径的方法相比，上下文感知的分割在多大程度上提升了模式质量？
• RQ5 所提出的框架在大规模语料库上是否能实现高效扩展，同时在模式质量和抽取性能方面优于现有最先进方法？

主要发现

• MetaPAD 在发现如 country:president 和 company:ceo 等新属性时，F1 分数达到 0.38–0.42，优于 TAC KBP 竞赛中最佳基线方法（0.3430）。
• 在 APR 和 TWT 数据集中，MetaPAD 分别发现了 1,355/2,400 和 1,111/2,090 个标注的 EAV-元组，超过一半的真值样本。
• MetaPAD-T 和 MetaPAD-B（无分组）在 APR 数据集上比 PATTY 的 F1 提升 19.4%，在 TWT 数据集上提升 78.5%；AUC 分数分别提升 27.6% 和 115.3%。
• 加入模式分组和类型调整后（MetaPAD-TS 和 MetaPAD-BS），相比 MetaPAD-T 和 MetaPAD-B，F1 分数分别提升 14.8% 和 16.8%。
• MetaPAD 在不到 2 小时内处理了 31GB 的推文数据，而 PATTY 耗时 7.3 小时，Ollie 耗时 28.4 小时，证明了其与语料规模呈线性可扩展性。
• 由于类型粒度较粗，MetaPAD-T(S) 在推文数据上优于 MetaPAD-B(S)；而 MetaPAD-B(S) 在新闻数据上表现更佳，因其适用于 CEO 和总统等细粒度实体。