[论文解读] KAER: A Knowledge Augmented Pre-Trained Language Model for Entity Resolution

Liri Fang, Lan Li+3 more|arXiv (Cornell University)|Jan 12, 2023

Data Quality and Management被引用 4

一句话总结

KAER 提出了一种通过提示工程注入模式级别（列语义类型）和实体级别（Wikidata 关联实体）知识的知识增强预训练语言模型，用于实体消歧。该方法在脏数据和文本数据集上显著优于最先进的模型（如 Ditto），在结构化和产品领域实现了显著的 F1 分数提升，证明了通过知识注入和优化提示策略实现的鲁棒性与有效性。

ABSTRACT

Entity resolution has been an essential and well-studied task in data cleaning research for decades. Existing work has discussed the feasibility of utilizing pre-trained language models to perform entity resolution and achieved promising results. However, few works have discussed injecting domain knowledge to improve the performance of pre-trained language models on entity resolution tasks. In this study, we propose Knowledge Augmented Entity Resolution (KAER), a novel framework named for augmenting pre-trained language models with external knowledge for entity resolution. We discuss the results of utilizing different knowledge augmentation and prompting methods to improve entity resolution performance. Our model improves on Ditto, the existing state-of-the-art entity resolution method. In particular, 1) KAER performs more robustly and achieves better results on "dirty data", and 2) with more general knowledge injection, KAER outperforms the existing baseline models on the textual dataset and dataset from the online product domain. 3) KAER achieves competitive results on highly domain-specific datasets, such as citation datasets, requiring the injection of expert knowledge in future work.

研究动机与目标

• 解决预训练语言模型在应用于异构、低资源或脏数据源时在实体消歧任务中的局限性。
• 探究外部领域知识（特别是列语义类型和关联实体类型）如何提升实体消歧性能。
• 评估不同提示技术（空格分隔、斜杠分隔、约束微调）对知识增强模型性能的影响。
• 评估知识注入在包括引用、产品和音乐数据集在内的多种数据类型和领域中的鲁棒性与泛化能力。
• 识别一般知识注入不足的场景，以及在这些场景中需要专家或领域特定知识才能实现最优性能的情况。

提出的方法

• 通过自然语言处理技术从列值中推断细粒度语义类型（例如 ALBUM、ARTIST），实现列语义类型（CST）的注入。
• 通过识别文本中的实体提及并将其链接到 Wikidata 条目及其相关语义类型，完成实体链接（EL）。
• 应用三种提示策略：空格分隔、斜杠分隔和约束微调，将注入的知识整合到输入序列中。
• 以 RoBERTa 作为基础预训练语言模型，并在包含 CST 和 EL 信号的序列化实体对输入上进行微调。
• 采用两阶段知识注入流程：第一阶段为列级别语义类型推断；第二阶段为实体提及检测与 Wikidata 链接。
• 在具有不同数据质量（脏数据 vs. 清洗数据）、数据类型（文本型、结构化）和领域（产品、音乐、引用）的多个数据集上评估模型性能。

Figure 1: The framework of KAER. First, (a) column semantic type augmentation and (b) entity semantic type augmentation are used to inject domain knowledge from both column and entity levels of the input table. Then three options of prompting types are provided after external knowledge injection: (1

实验结果

研究问题

• RQ1 在低资源或脏数据环境下，注入模式级别（列语义类型）和实体级别（Wikidata 关联）知识对实体消歧性能有何影响？
• RQ2 在将外部知识集成到预训练语言模型用于实体消歧时，哪种提示方法（空格、斜杠、约束微调）表现最佳？
• RQ3 与 RoBERTa 和 Ditto 等基线模型相比，知识增强是否能提升模型在噪声或异构数据源上的鲁棒性？
• RQ4 在哪些领域中，通用知识注入（例如来自 Wikidata 的知识）能显著提升性能，而在哪些领域中其效果不足？
• RQ5 在需要专家或领域特定知识的数据集（如引用记录）上，知识注入在多大程度上会降低性能？

主要发现

• 在 Structured/iTunes-Amazon 数据集上，KAER 显著优于 RoBERTa 和 Ditto，F1 分数分别提升了 24.45% 和 39.15%，且具有统计显著性。
• 在来自在线产品领域的文本型 Abt-Buy 数据集上，KAER（RoBERTa+CST+/）取得 92.61% 的 F1 分数，显著优于两个基线模型，且具有统计显著性。
• 在 Dirty/iTunes-Amazon 数据集上，KAER（RoBERTa+EL+/）取得 81.82% 的 F1 分数，相比基线有明显提升，尽管并非在所有情况下都具有统计显著性。
• PCT 提示方法提升了低质量数据上的鲁棒性：KAER（RoBERTa+CST+PCT）在 Dirty/DBLP-GoogleScholar 上取得 72.00% 的 F1 分数，优于 KAER（RoBERTa+CST）的 62.96%。
• 在引用数据集 Structured/DBLP-ACM 上，KAER（RoBERTa+CST+/）取得最高的 F1 分数 98.99%，在 95% 置信水平下显著优于 Ditto。
• 知识注入在需要专家知识的数据集（如引用记录）上未能提升性能，表明未来工作需引入领域特定知识注入。