[论文解读] Knowledge Based Multilingual Language Model

Linlin Liu, Xin Li+4 more|arXiv (Cornell University)|Nov 22, 2021

Topic Modeling参考文献 26被引用 5

一句话总结

本文提出知识增强型多语言语言模型（KMLMs），利用多语言维基数据知识图谱生成合成的代码切换与基于推理的训练数据。通过设计句内与句间预训练任务，KMLMs 在多种语言间学习事实性知识与逻辑模式，在跨语言自然语言处理任务（包括命名实体识别、知识检索、关系分类与逻辑推理）中取得显著提升。

ABSTRACT

Knowledge enriched language representation learning has shown promising performance across various knowledge-intensive NLP tasks. However, existing knowledge based language models are all trained with monolingual knowledge graph data, which limits their application to more languages. In this work, we present a novel framework to pretrain knowledge based multilingual language models (KMLMs). We first generate a large amount of code-switched synthetic sentences and reasoning-based multilingual training data using the Wikidata knowledge graphs. Then based on the intra- and inter-sentence structures of the generated data, we design pretraining tasks to facilitate knowledge learning, which allows the language models to not only memorize the factual knowledge but also learn useful logical patterns. Our pretrained KMLMs demonstrate significant performance improvements on a wide range of knowledge-intensive cross-lingual NLP tasks, including named entity recognition, factual knowledge retrieval, relation classification, and a new task designed by us, namely, logic reasoning. Our code and pretrained language models will be made publicly available.

研究动机与目标

• 解决现有知识增强型语言模型仅依赖单语言知识图谱、因而受限于单一语言的局限性。
• 开发一种多语言语言模型预训练框架，使其能有效从多语言知识图谱（如维基数据）中学习。
• 生成高质量的合成训练数据，以实现在多语言环境下跨语言知识迁移与逻辑推理。
• 设计能捕捉跨语言事实性知识与逻辑推理模式的预训练任务。
• 在多样化的知识密集型跨语言自然语言处理任务上评估模型，包括新引入的逻辑推理任务。

提出的方法

• 该框架利用维基数据知识图谱生成大规模合成的代码切换句子与基于推理的多语言训练数据。
• 设计句内与句间预训练任务，以捕捉跨语言的事实性知识与逻辑推理模式。
• 在合成的多语言数据上对模型进行预训练，以学习富含事实与关系知识的多语言表征。
• 预训练过程强调生成数据中的结构模式，以提升在不同语言与任务间的泛化能力。
• 通过共享的多语言知识，支持零样本与少样本迁移至下游跨语言任务。
• 最终的 KMLM 在命名实体识别、事实知识检索、关系分类与一项新引入的逻辑推理任务上进行评估。

实验结果

研究问题

• RQ1 能否通过源自多语言知识图谱（如维基数据）的合成数据有效预训练多语言语言模型？
• RQ2 此类模型在多语言环境下，能在多大程度上同时学习事实性知识与逻辑推理模式？
• RQ3 KMLM 在跨语言知识密集型自然语言处理任务上的表现与单语言知识增强型模型相比如何？
• RQ4 该模型能否在未见过的语言或任务上泛化至零样本或少样本设置？
• RQ5 句内与句间预训练任务对多语言环境下知识记忆与推理能力的影响如何？

主要发现

• KMLM 在跨语言命名实体识别任务中实现显著性能提升，优于单语言基线模型。
• 模型在多种语言的事实知识检索任务中表现强劲，表明实现了有效的多语言知识迁移。
• 在关系分类任务中取得显著进展，表明其对多语言环境下关系事实的理解能力得到增强。
• 在新引入的逻辑推理任务中表现良好，证实其具备学习并应用跨语言逻辑模式的能力。
• 合成数据生成与预训练任务使模型既能记忆事实性知识，也能学习有用的推理结构。
• 该框架在零样本与少样本设置中表现有效，表明其在不同语言与任务间具备强大的泛化能力。