[논문 리뷰] KAER: A Knowledge Augmented Pre-Trained Language Model for Entity Resolution

Liri Fang, Lan Li외 3명|arXiv (Cornell University)|2023. 01. 12.

Data Quality and Management인용 수 4

한 줄 요약

KAER는 프롬프팅을 통한 스키마 수준(열 의미 유형) 및 엔티티 수준(위키데이터 연결 엔티티) 지식 주입을 통해 지식 증강된 사전학습된 언어 모델을 제안한다. 더러운 데이터나 텍스트 기반 데이터셋에서 Ditto와 같은 최신 기술 모델보다 뛰어난 성능을 보이며, 구조화된 데이터 및 제품 도메인에서 F1 점수 향상이 뚜렷하여 지식 주입 및 최적화된 프롬프팅 전략을 통한 강건성과 효과성을 입증한다.

ABSTRACT

Entity resolution has been an essential and well-studied task in data cleaning research for decades. Existing work has discussed the feasibility of utilizing pre-trained language models to perform entity resolution and achieved promising results. However, few works have discussed injecting domain knowledge to improve the performance of pre-trained language models on entity resolution tasks. In this study, we propose Knowledge Augmented Entity Resolution (KAER), a novel framework named for augmenting pre-trained language models with external knowledge for entity resolution. We discuss the results of utilizing different knowledge augmentation and prompting methods to improve entity resolution performance. Our model improves on Ditto, the existing state-of-the-art entity resolution method. In particular, 1) KAER performs more robustly and achieves better results on "dirty data", and 2) with more general knowledge injection, KAER outperforms the existing baseline models on the textual dataset and dataset from the online product domain. 3) KAER achieves competitive results on highly domain-specific datasets, such as citation datasets, requiring the injection of expert knowledge in future work.

연구 동기 및 목표

• 이질적, 저자원 또는 더러운 데이터 소스에 적용할 때 사전학습된 언어 모델의 엔티티 해상도 성능 한계를 해결하기 위해.
• 특히 열 의미 유형과 연결된 엔티티 유형과 같은 외부 도메인 지식이 엔티티 해상도 성능 향상에 어떻게 기여하는지 조사하기 위해.
• 다양한 프롬프팅 기법(공백, 슬래시, 제약 조건이 있는 튜닝)이 지식 증강 모델 성능에 미치는 영향을 평가하기 위해.
• 다양한 데이터 유형과 도메인(예: 인용, 제품, 음악 데이터셋)에서 지식 주입의 강건성과 일반화 능력을 평가하기 위해.
• 일반 지식 주입이 부족하고 전문가나 도메인 특화 지식이 최적 성능을 내기 위해 필요한 상황을 규명하기 위해.

제안 방법

• NLP 기법을 사용해 열 값으로부터 세밀한 의미 유형(예: ALBUM, ARTIST)을 추론하여 열 의미 유형(CST)을 주입한다.
• 텍스트 내 엔티티 언급을 식별하고, 관련 의미 유형이 있는 위키데이터 항목과 연결함으로써 엔티티 연결(EL)을 수행한다.
• 주입된 지식를 입력 시퀀스에 통합하기 위해 세 가지 프롬프팅 전략을 적용: 공백으로 분리, 슬래시로 분리, 제약 조건이 있는 튜닝.
• 기본 사전학습된 언어 모델로 RoBERTa를 사용하고, CST 및 EL 신호로 증강된 시리얼라이즈된 엔티티 쌍 입력에 대해 미세조정한다.
• 두 단계 지식 주입 파이프라인을 활용: 첫 번째로 열 수준의 의미 유형 추론, 두 번째로 엔티티 언급 탐지 및 위키데이터 연결.
• 다양한 데이터 품질(더러운 vs. 깨끗한), 데이터 유형(텍스트 기반, 구조화됨), 도메인(제품, 음악, 인용)을 가진 여러 데이터셋에서 모델 성능을 평가한다.

Figure 1: The framework of KAER. First, (a) column semantic type augmentation and (b) entity semantic type augmentation are used to inject domain knowledge from both column and entity levels of the input table. Then three options of prompting types are provided after external knowledge injection: (1

실험 결과

연구 질문

• RQ1 저자원 또는 더러운 데이터 환경에서 스키마 수준(열 의미 유형) 및 엔티티 수준(위키데이터 연결) 지식 주입이 엔티티 해상도 성능에 어떤 영향을 미치는가?
• RQ2 외부 지식을 사전학습된 언어 모델에 통합할 때, 프롬프팅 방법(공백, 슬래시, 제약 조건이 있는 튜닝) 중 어느 것이 가장 높은 성능을 낳는가?
• RQ3 기존 모델인 RoBERTa 및 Ditto와 비교해 지식 증강이 노이즈가 많거나 이질적인 데이터 소스에서 모델의 강건성을 향상시키는가?
• RQ4 어떤 도메인에서 일반 지식 주입(예: 위키데이터에서 유래)이 성능 향상에 뚜렷한 기여를 하고, 어느 곳에선 부족한가?
• RQ5 전문가나 도메인 특화 지식이 필요한 데이터셋(예: 인용 기록)에서는 지식 주입이 성능 저하를 초래하는 정도는 어느 정도인가?

주요 결과

• KAER는 Structured/iTunes-Amazon 데이터셋에서 RoBERTa 및 Ditto보다 유의미한 성능 향상을 보이며, F1 점수에서 각각 24.45% 및 39.15% 향상되었다.
• 온라인 제품 도메인의 텍스트 기반 Abt-Buy 데이터셋에서 KAER(RoBERTa+CST+/)는 F1 점수 92.61%를 기록하여 양쪽 기준 모델을 모두 유의미하게 앞섰다.
• Dirty/iTunes-Amazon 데이터셋에서 KAER(RoBERTa+EL+/)는 F1 점수 81.82%를 기록하여 기준 모델보다 뚜렷한 향상을 보였지만, 항상 통계적 유의성이 확보되지는 않았다.
• PCT 프롬프팅 방법은 저품질 데이터에서 강건성을 향상시켰다: KAER(RoBERTa+CST+PCT)는 Dirty/DBLP-GoogleScholar에서 F1 점수 72.00%를 기록하여 KAER(RoBERTa+CST)의 62.96%보다 뛰어났다.
• 인용 데이터셋인 Structured/DBLP-ACM에서 KAER(RoBERTa+CST+/)는 F1 점수 98.99%를 기록하여 Ditto를 95% 신뢰수준에서 뚜렷이 앞섰다.
• 전문 지식이 필요한 데이터셋(예: 인용 기록)에서는 지식 주입이 성능 향상에 기여하지 못했으며, 향후 연구에서는 도메인 특화 지식 주입이 필요하다는 점을 시사한다.