[论文解读] Knowledge will Propel Machine Understanding of Content: Extrapolating from Current Examples

Amit Sheth, Sujan Perera+1 more|arXiv (Cornell University)|Oct 25, 2016

Natural Language Processing Techniques参考文献 36被引用 10

一句话总结

本文主张，知识融合对于推进机器对复杂文本和多模态数据的理解至关重要，尤其是在标注数据稀缺或任务涉及主观性、隐含性或多模态内容时。通过利用专门构建的知识——涵盖领域特定到跨领域知识——并结合机器学习与自然语言处理技术，作者证明知识可显著提升模型的泛化能力和性能，超越仅依赖数据驱动方法的局限。

ABSTRACT

Machine Learning has been a big success story during the AI resurgence. One particular stand out success relates to unsupervised learning from a massive amount of data, albeit much of it relates to one modality/type of data at a time. In spite of early assertions of the unreasonable effectiveness of data, there is increasing recognition of utilizing knowledge whenever it is available or can be created purposefully. In this paper, we focus on discussing the indispensable role of knowledge for deeper understanding of complex text and multimodal data in situations where (i) large amounts of training data (labeled/unlabeled) are not available or labor intensive to create, (ii) the objects (particularly text) to be recognized are complex (i.e., beyond simple entity-person/location/organization names), such as implicit entities and highly subjective content, and (iii) applications need to use complementary or related data in multiple modalities/media. What brings us to the cusp of rapid progress is our ability to (a) create knowledge, varying from comprehensive or cross domain to domain or application specific, and (b) carefully exploit the knowledge to further empower or extend the applications of ML/NLP techniques. Using the early results in several diverse situations - both in data types and applications - we seek to foretell unprecedented progress in our ability for deeper understanding and exploitation of multimodal data.

研究动机与目标

• 解决数据饥渴的机器学习模型在理解复杂、主观或隐含内容的文本和多模态数据方面的局限性。
• 探究知识（无论领域特定还是跨领域）如何弥补标注数据或未标注训练数据不足的问题。
• 证明知识的创建与有效利用可扩展并增强现有机器学习与自然语言处理技术在现实应用中的能力。
• 预测通过将知识整合到学习框架中，多模态理解将实现快速进展。

提出的方法

• 从多样化来源构建结构化知识，包括领域特定或跨领域的知识库。
• 设计将外部知识与神经网络结合的模型，以提升推理与泛化能力。
• 应用知识以增强低资源或复杂文本理解场景下的表征学习。
• 利用知识在统一框架中实现多模态（如文本、视觉、音频）之间的对齐与推理。
• 利用知识指导在存在隐含实体或主观内容场景下的表征学习。
• 在多种数据类型和应用场景中验证知识增强模型的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 当标注数据稀缺或获取成本高昂时，知识如何提升机器学习模型的性能？
• RQ2 知识在超越简单命名实体识别之外，如何增强对复杂、主观或隐含内容的理解？
• RQ3 如何有效将知识整合到多模态学习中，以提升跨模态对齐与推理能力？
• RQ4 知识在扩展现有自然语言处理与机器学习技术在低资源或复杂领域的能力方面发挥何种作用？
• RQ5 有目的地构建的知识是否能带来模型泛化能力与性能在多样化应用中的可测量提升？

主要发现

• 知识融合即使在缺乏大规模标注数据的情况下，也能实现对复杂文本和多模态数据的更深层次理解。
• 使用领域特定或跨领域知识显著提升了模型在主观性和隐含内容识别任务中的性能。
• 知识增强模型在多种数据类型和应用场景中展现出更强的泛化能力与鲁棒性。
• 有目的地创建知识可有效扩展并提升现有机器学习与自然语言处理技术的适用范围与效果。
• 在多个应用中的初步结果证实，知识使模型在复杂场景下实现了前所未有的理解水平。
• 知识与机器学习之间的协同作用为超越纯数据驱动方法的多模态理解快速进展铺平了道路。