[论文解读] Unsupervised Extraction of Representative Concepts from Scientific Literature

Adit Krishnan, Aravind Sankar+2 more|arXiv (Cornell University)|Oct 6, 2017

Advanced Text Analysis Techniques参考文献 29被引用 6

一句话总结

本文提出了一种无监督、领域无关的两阶段框架，用于从文章标题中提取并分类关键科学概念。该框架首先使用概率生成模型（PhraseType）将短语分类为技术、应用等类别，然后通过适配器语法在无外部资源的情况下提取细粒度的概念提及，实现了在多样化科学领域中的最先进性能。

ABSTRACT

This paper studies the automated categorization and extraction of scientific concepts from titles of scientific articles, in order to gain a deeper understanding of their key contributions and facilitate the construction of a generic academic knowledgebase. Towards this goal, we propose an unsupervised, domain-independent, and scalable two-phase algorithm to type and extract key concept mentions into aspects of interest (e.g., Techniques, Applications, etc.). In the first phase of our algorithm we propose PhraseType, a probabilistic generative model which exploits textual features and limited POS tags to broadly segment text snippets into aspect-typed phrases. We extend this model to simultaneously learn aspect-specific features and identify academic domains in multi-domain corpora, since the two tasks mutually enhance each other. In the second phase, we propose an approach based on adaptor grammars to extract fine grained concept mentions from the aspect-typed phrases without the need for any external resources or human effort, in a purely data-driven manner. We apply our technique to study literature from diverse scientific domains and show significant gains over state-of-the-art concept extraction techniques. We also present a qualitative analysis of the results obtained.

研究动机与目标

• 实现对文章标题中关键科学概念的自动化、无监督分类与提取。
• 解决在不依赖标注数据或外部资源的情况下，从科学文献中提取概念的挑战。
• 开发一种灵活、可扩展的框架，适用于多种学术领域。
• 通过在提取前对短语进行分类，实现特定类别的规则学习，从而超越现有方法。
• 构建一个通用的学术知识库，用于引文推荐、研究趋势分析等应用。

提出的方法

• 提出PhraseType，一种概率生成模型，利用文本特征和有限的词性标签，将短语分类为技术、应用等类别。
• 将PhraseType扩展为在多领域语料中通过相互增强机制，联合学习特定类别的特征并识别学术领域。
• 引入DomainPhraseType，即PhraseType的变体，通过引入领域级先验知识，提升异构科学语料中的类别分类性能。
• 采用适配器语法以纯粹数据驱动、无需资源的方式，从已分类的短语中提取细粒度的概念提及。
• 利用词嵌入和广义语言模型建模短语语义，支持鲁棒的概念提取。
• 采用两阶段流水线：首先通过概率建模进行短语分类，然后通过基于语法的模式归纳进行概念提取。

实验结果

研究问题

• RQ1 我们能否在无监督或无外部知识的情况下，准确地将科学短语分类为技术、应用等类别？
• RQ2 如何联合学习类别分类与领域识别，以提升多领域设置下的性能？
• RQ3 适配器语法在无外部资源的情况下，能多大程度上从已分类短语中提取精确的概念提及？
• RQ4 所提出的框架在科学标题概念提取方面与最先进方法相比表现如何？
• RQ5 该框架能否在计算机科学、数据库、自然语言处理等多样化科学领域中实现良好泛化？

主要发现

• 所提出的框架在多样化科学领域中显著优于当前最先进概念提取技术。
• PhraseType与DomainPhraseType在类别分类与领域识别任务中相互增强，共同提升性能。
• 适配器语法成功实现了无需外部资源或人工标注的细粒度概念提及提取。
• 该方法在上下文有限的标题上表现良好，优于NP分块和依存句法分析方法。
• 在定性分析中，框架正确识别了ACL和CVPR等顶级会议标题中的关键概念，如“neural network”（神经网络）、“face recognition”（人脸识别）和“machine translation”（机器翻译）。
• 该框架从DBLP数据集中发现了10个不同的科学领域，包括“complexity class”（FOCS、STOC）和“sensor network”（ICC、INFOCOM），展示了强大的领域发现能力。