[論文レビュー] KAER: A Knowledge Augmented Pre-Trained Language Model for Entity Resolution

Liri Fang, Lan Li+3 more|arXiv (Cornell University)|Jan 12, 2023

Data Quality and Management被引用数 4

ひとこと要約

KAER は、プロンプティングを介してスキーマレベル（カラムの意味的タイプ）およびエンティティレベル（Wikidata にリンクされたエンティティ）の知識を統合することにより、エンティティ解決のための知識拡張型事前学習言語モデルを提案する。Ditto や他の最先端モデルに比べて、汚染されたデータやテキストデータに対して顕著な F1 スコアの向上を示し、構造化データおよび製品ドメインにおいて優れた耐性と有効性を示している。知識の統合と最適化されたプロンプティング戦略が、その有効性を実証している。

ABSTRACT

Entity resolution has been an essential and well-studied task in data cleaning research for decades. Existing work has discussed the feasibility of utilizing pre-trained language models to perform entity resolution and achieved promising results. However, few works have discussed injecting domain knowledge to improve the performance of pre-trained language models on entity resolution tasks. In this study, we propose Knowledge Augmented Entity Resolution (KAER), a novel framework named for augmenting pre-trained language models with external knowledge for entity resolution. We discuss the results of utilizing different knowledge augmentation and prompting methods to improve entity resolution performance. Our model improves on Ditto, the existing state-of-the-art entity resolution method. In particular, 1) KAER performs more robustly and achieves better results on "dirty data", and 2) with more general knowledge injection, KAER outperforms the existing baseline models on the textual dataset and dataset from the online product domain. 3) KAER achieves competitive results on highly domain-specific datasets, such as citation datasets, requiring the injection of expert knowledge in future work.

研究の動機と目的

• 異種、低リソース、または汚染されたデータソースに適用された事前学習言語モデルがエンティティ解決において抱える限界を解決すること。
• 特にカラムの意味的タイプとリンクされたエンティティタイプといった外部ドメイン知識がエンティティ解決のパフォーマンスにどのように寄与するかを調査すること。
• 異なるプロンプティング技術（スペース区切り、スラッシュ区切り、制約付きチューニング）が、知識拡張モデルのパフォーマンスに与える影響を評価すること。
• 多様なデータタイプとドメイン（引用、製品、音楽）における知識統合の耐性と一般化能力を評価すること。
• 一般知識の統合が不十分であり、最適なパフォーマンスを得るには専門家知識やドメイン特化知識が必要となる状況を同定すること。

提案手法

• NLP テクニックを用いてカラム値から細粒度の意味的タイプ（例：ALBUM, ARTIST）を推論することで、カラム意味的タイプ（CST）を統合する。
• テキスト内のエンティティの表記を特定し、関連する意味的タイプとともに Wikidata エントリにリンクするエンティティリンク（EL）を実行する。
• 統合された知識を入力シーケンスに統合するために、3 種類のプロンプティング戦略を適用する：スペース区切り、スラッシュ区切り、制約付きチューニング。
• ベースとなる事前学習言語モデルとして RoBERTa を使用し、CST および EL シグナルで拡張されたシリアル化されたエンティティペア入力を用いて微調整する。
• 2段階の知識統合パイプラインを採用：第1段階はカラムレベルの意味的タイプ推論、第2段階はエンティティ表記の検出と Wikidata へのリンク。
• データ品質（汚染済み vs クリーン）、データタイプ（テキスト系、構造化）、ドメイン（製品、音楽、引用）が異なる複数のデータセットでモデルのパフォーマンスを評価する。

Figure 1: The framework of KAER. First, (a) column semantic type augmentation and (b) entity semantic type augmentation are used to inject domain knowledge from both column and entity levels of the input table. Then three options of prompting types are provided after external knowledge injection: (1

実験結果

リサーチクエスチョン

• RQ1 低リソースまたは汚染されたデータ環境下で、スキーマレベル（カラム意味的タイプ）およびエンティティレベル（Wikidata リンク済み）の知識を統合すると、エンティティ解決のパフォーマンスにどのように影響を与えるか？
• RQ2 外部知識を事前学習言語モデルに統合する際、どのプロンプティング手法（スペース、スラッシュ、制約付きチューニング）が最も高いパフォーマンスを達成するか？
• RQ3 RoBERTa や Ditto といったベースラインモデルと比較して、知識拡張がノイズが多い、または異種のデータソースに対してモデルの耐性を向上させるか？
• RQ4 どのドメインで一般知識統合（例：Wikidata からの知識）がパフォーマンスを顕著に向上させ、どこでそれが不十分であるか？
• RQ5 専門家知識やドメイン特化知識を必要とするデータセット（例：引用記録）では、知識統合がパフォーマンスを低下させる可能性はどの程度か？

主な発見

• 構造化/iTunes-Amazon データセットにおいて、KAER は RoBERTa や Ditto よりも顕著に優れており、F1 スコアでそれぞれ 24.45%、39.15% の向上を達成し、統計的有意性を示した。
• オンライン製品ドメインのテキスト系 Abt-Buy データセットにおいて、KAER（RoBERTa+CST+/）は F1 スコア 92.61% を達成し、両ベースラインを統計的に有意に上回った。
• 汚染済み/iTunes-Amazon データセットでは、KAER（RoBERTa+EL+/）が F1 スコア 81.82% を達成し、ベースラインより顕著な改善を示したが、必ずしも統計的有意性は得られなかった。
• PCT プロンプティング手法は低品質データに対する耐性を向上させる：KAER（RoBERTa+CST+PCT）は Dirty/DBLP-GoogleScholar で F1 スコア 72.00% を達成し、KAER（RoBERTa+CST）の 62.96% よりも優れた性能を示した。
• 引用データセット Structured/DBLP-ACM において、KAER（RoBERTa+CST+/）は F1 スコア 98.99% を達成し、95% 信頼区間で Ditto より顕著に優れていた。
• 専門家知識を必要とするデータセット（例：引用記録）では、一般知識の統合がパフォーマンス向上に寄与しなかった。今後の研究では、ドメイン特化知識の統合が不可欠であると示唆された。