[论文解读] Building a Fine-Grained Entity Typing System Overnight for a New X (X = Language, Domain, Genre)

Lifu Huang, Jonathan May+2 more|arXiv (Cornell University)|Mar 10, 2016

Topic Modeling参考文献 47被引用 21

一句话总结

该论文提出了一种无监督、零样本的细粒度实体类型识别框架，通过结合通用实体嵌入、基于语言结构（如AMR、依存树）的上下文特定表示以及知识库链接，无需标注数据或预定义类型模式，即可发现领域和语言特定的类型。该方法在多种语言（英语、中文、日语、豪萨语、约鲁巴语）和领域（新闻、生物医学）中均实现了与监督系统相当的最先进性能，展现出极强的可移植性和对新文体、语言及领域的适应能力。

ABSTRACT

Recent research has shown great progress on fine-grained entity typing. Most existing methods require pre-defining a set of types and training a multi-class classifier from a large labeled data set based on multi-level linguistic features. They are thus limited to certain domains, genres and languages. In this paper, we propose a novel unsupervised entity typing framework by combining symbolic and distributional semantics. We start from learning general embeddings for each entity mention, compose the embeddings of specific contexts using linguistic structures, link the mention to knowledge bases and learn its related knowledge representations. Then we develop a novel joint hierarchical clustering and linking algorithm to type all mentions using these representations. This framework doesn't rely on any annotated data, predefined typing schema, or hand-crafted features, therefore it can be quickly adapted to a new domain, genre and language. Furthermore, it has great flexibility at incorporating linguistic structures (e.g., Abstract Meaning Representation (AMR), dependency relations) to improve specific context representation. Experiments on genres (news and discussion forum) show comparable performance with state-of-the-art supervised typing systems trained from a large amount of labeled data. Results on various languages (English, Chinese, Japanese, Hausa, and Yoruba) and domains (general and biomedical) demonstrate the portability of our framework.

研究动机与目标

• 解决在缺乏标注数据和预定义类型模式的新领域、新文体和新语言中进行细粒度实体类型识别的挑战。
• 克服现有监督方法依赖噪声较大的远程监督和预定义类型集合的局限性。
• 开发一种灵活的无监督框架，通过通用语义、上下文特定表示和领域知识发现细粒度类型。
• 实现在低资源语言和专业领域中无需微调或人工特征工程的快速部署。

提出的方法

• 从大规模维基百科数据中学习通用实体嵌入，以捕捉实体提及的通用语义。
• 利用抽象意义表示（AMR）和依存关系等语言结构构建上下文特定表示，以建模局部上下文语义。
• 通过知识库链接整合，为实体表示注入领域特定知识，尤其对生物医学和稀有实体具有增强作用。
• 应用联合分层聚类与链接算法，在无先验类型定义或标注数据的情况下将提及聚类为类型。
• 通过学习到的权重，对三种表示——通用语义、上下文特定特征和知识库链接——进行加权融合，以优化聚类效果。
• 引入无监督实体链接系统，以提升聚类质量并自动生成与语料相关的类型定义模式。

实验结果

研究问题

• RQ1 无监督实体类型识别框架是否能在不使用任何标注数据的情况下，实现与监督系统相当的性能？
• RQ2 将通用语义、上下文特定的语言结构和知识库表示相结合，在发现细粒度类型方面有多高效？
• RQ3 该框架在无需微调或人工干预的情况下，对新领域和新语言的适应能力如何？
• RQ4 不同语言结构（AMR、依存结构、词袋）对上下文表示质量和类型识别准确率有何影响？
• RQ5 该框架是否能在无监督条件下生成有意义且可被人类理解的类型名称？

主要发现

• 该框架在新闻和生物医学领域均表现出具有竞争力的性能，类型识别准确率与在大规模标注数据上训练的最先进监督系统相当。
• 在英语、中文和日语新闻中，该框架实现了高准确率，其中中文和日语的歧义度最低（低于0.05），显著提升了整体性能。
• 对于低资源语言如豪萨语和约鲁巴语，该框架分别实现了85.42%和72.26%的提及级别类型识别准确率，即使未使用预训练嵌入或知识库。
• 基于AMR和依存结构的上下文表示优于词袋方法，能捕捉语义上有意义的关系（例如，将“Kuwolsan”识别为“Ship”时，捕捉到“carrying arms”这一语义关系）。
• 在生物医学领域，最优融合权重为0.45（通用）、0.05（上下文）和0.50（知识）；在新闻领域则为0.45（通用）、0.20（上下文）和0.35（知识），表明上下文的重要性因领域而异。
• 人工评估显示，当阈值λ设置为0.8时，类型命名性能达到约90%的准确率，表明该框架能生成语义合理且可解释的类型标签。