[论文解读] Machine Learning with World Knowledge: The Position and Survey

Yangqiu Song, Dan Roth|arXiv (Cornell University)|May 8, 2017

Topic Modeling参考文献 196被引用 9

一句话总结

本文提出利用通用世界知识——如知识库和常识资源——来增强机器学习，通过改善特征表示、减少标注工作量，并实现新型学习范式。它提出一个统一框架，通过显式和隐式特征工程、实体链接和语义解析等推理任务，以及远程监督和自教学习等学习范式，整合世界知识，显著降低对昂贵人工标注数据的依赖。

ABSTRACT

Machine learning has become pervasive in multiple domains, impacting a wide variety of applications, such as knowledge discovery and data mining, natural language processing, information retrieval, computer vision, social and health informatics, ubiquitous computing, etc. Two essential problems of machine learning are how to generate features and how to acquire labels for machines to learn. Particularly, labeling large amount of data for each domain-specific problem can be very time consuming and costly. It has become a key obstacle in making learning protocols realistic in applications. In this paper, we will discuss how to use the existing general-purpose world knowledge to enhance machine learning processes, by enriching the features or reducing the labeling work. We start from the comparison of world knowledge with domain-specific knowledge, and then introduce three key problems in using world knowledge in learning processes, i.e., explicit and implicit feature representation, inference for knowledge linking and disambiguation, and learning with direct or indirect supervision. Finally we discuss the future directions of this research topic.

研究动机与目标

• 解决领域特定机器学习应用中大规模数据集标注成本高、耗时长的问题。
• 通过利用通用世界知识进行特征工程和监督，降低对领域特定知识的依赖。
• 统一并系统化机器学习流程中表示、推理和学习阶段的世界知识使用。
• 识别在整合世界知识与认知推理、跨语言偏差以及联合推理-学习框架方面存在的开放性挑战。

提出的方法

• 将世界知识的使用划分为三个核心组成部分：表示（显式同质/异质特征、隐式特征）、推理（实体链接和语义解析）以及学习（如远程监督和自教学习等范式）。
• 使用显式语义分析（ESA）和概率概念化方法，通过与Freebase和Yago等知识库对齐，将文本表示为知识表示。
• 应用局部和全局推理技术进行实体链接和语义解析，以解决歧义，并将自由文本链接到结构化知识库。
• 引入学习范式，如无源域迁移学习和无数据分类，辅以语义监督，以减少对标注数据的依赖。
• 采用生成模型（如基于LDA的模型）和判别模型（如层次分类）进行增强世界知识的表示学习。
• 提出联合推理与学习框架，通过协同优化知识对齐与模型训练，提升性能。

实验结果

研究问题

• RQ1 如何有效利用世界知识来降低监督机器学习中的标注成本？
• RQ2 在机器学习模型中，将世界知识表示为特征的最有效方法是什么？
• RQ3 如何优化实体链接和语义解析等推理技术，以实现非结构化文本与结构化知识库的对齐？
• RQ4 世界知识能够支持哪些新型学习范式？它们与传统监督或半监督学习相比有何差异？
• RQ5 如何在统一学习框架中整合世界知识与认知过程、跨语言/跨文化偏差？

主要发现

• 世界知识显著减少了对昂贵人工标注标签的需求，通过间接或远程监督（如基于知识库关系）实现学习。
• 使用语义分析（如ESA）和概率概念化方法的显式特征表示，在某些任务（如无数据分类）中优于传统方法。
• 实体链接和语义解析能够准确地将文本提及映射到知识库实体，从而提升文档聚类和主题建模等下游NLP任务的性能。
• 当结合世界知识时，自教学习和无源域迁移学习等学习范式在标注数据稀缺时成为可行的替代方案。
• 联合推理与学习框架显示出性能提升的潜力，但其计算开销较大，仍需进一步优化。
• 常识知识获取仍是重大开放挑战，当前世界知识库在语言和文化上仍存在不完整性和偏差。