[论文解读] Information Extraction from Scientific Literature for Method Recommendation

Yi Luan|arXiv (Cornell University)|Dec 13, 2018

Topic Modeling被引用 4

一句话总结

本文提出了一种半监督框架，用于科学方法推荐，通过从无标注文献中提取科学术语，并利用共现、依存分析和维基百科派生的关系构建知识图谱。该方法在术语提取方面达到最先进性能，并通过极少的人工标注实现了方法-任务推荐的链接预测，经由MRR和人工评估验证。

ABSTRACT

As a research community grows, more and more papers are published each year. As a result there is increasing demand for improved methods for finding relevant papers, automatically understanding the key ideas and recommending potential methods for a target problem. Despite advances in search engines, it is still hard to identify new technologies according to a researcher's need. Due to the large variety of domains and extremely limited annotated resources, there has been relatively little work on leveraging natural language processing in scientific recommendation. In this proposal, we aim at making scientific recommendations by extracting scientific terms from a large collection of scientific papers and organizing the terms into a knowledge graph. In preliminary work, we trained a scientific term extractor using a small amount of annotated data and obtained state-of-the-art performance by leveraging large amount of unannotated papers through applying multiple semi-supervised approaches. We propose to construct a knowledge graph in a way that can make minimal use of hand annotated data, using only the extracted terms, unsupervised relational signals such as co-occurrence, and structural external resources such as Wikipedia. Latent relations between scientific terms can be learned from the graph. Recommendations will be made through graph inference for both observed and unobserved relational pairs.

研究动机与目标

• 为解决研究人员在海量科学文献中推荐相关科学方法的挑战，通过从大量科学文献中提取关键术语和关系。
• 通过利用半监督学习和无监督关系信号，最小化对昂贵人工标注数据的依赖。
• 利用共现、依存分析和维基百科构建科学知识图谱，以建模方法与任务之间的潜在关系。
• 通过基于图的链接预测和多路径关系建模，实现对未观测到的方法-任务对的推荐。
• 通过自动指标（MRR、Hits@k）和人工评估对系统进行评估，以确保实际相关性。

提出的方法

• 在少量标注数据上训练一个半监督神经模型，并通过大规模无标注科学论文扩展，以提升科学术语提取性能。
• 利用共现模式和依存关系作为无监督关系信号，推断科学术语之间的连接。
• 将维基百科的外部知识作为辅助资源，以丰富关系信号并改善图表示。
• 多路径图推理模型结合来自多个来源（如依存路径、维基百科）的证据，使用加权路径表示和随机游走概率。
• 链接预测的评分函数结合路径表示，并在不同资源类型间为每条路径长度学习共享权重。
• 通过潜在关系表示的聚类探索开放关系，实现在无显式标注的情况下发现细粒度的方法-任务关系。

实验结果

研究问题

• RQ1 半监督学习能否在极少标注数据下实现科学术语提取的最先进性能？
• RQ2 共现和外部知识源（如维基百科）在极少人工标注下，能否有效构建科学知识图谱？
• RQ3 基于图的链接预测在多大程度上能推断出文献中尚未发表的新方法-任务关系？
• RQ4 与单源方法相比，来自多样化来源的多路径关系信号在多大程度上提升了推荐性能？
• RQ5 潜在关系表示的聚类能否揭示科学方法与任务之间有意义的细粒度关系？

主要发现

• 所提出的半监督术语提取模型通过利用大规模无标注论文，在科学术语提取任务中达到最先进性能。
• 知识图谱构建方法有效整合了共现、依存关系和维基百科，以极少人工标注数据建模科学关系。
• 使用构建的知识图谱进行链接预测，成功识别出合理的方法-任务应用，例如预测生成对抗网络（GAN）在自然语言处理（NLP）中的应用，准确度较高。
• 系统在自动评估中表现强劲，MRR和Hits@k得分表明能有效对相关方法-任务对进行排序。
• 人工评估确认了前30名推荐结果的相关性，精确率和召回率均较高，验证了该方法的实际效用。
• 潜在关系表示的聚类揭示了有意义的细粒度关系，如方法组合（例如HMM + Viterbi）和任务相似性（例如词性标注和命名实体识别），表明在开放关系学习方面具有潜力。