[논문 리뷰] PromptEM: Prompt-tuning for Low-resource Generalized Entity Matching

Pengfei Wang, Xiaocan Zeng외 5명|arXiv (Cornell University)|2022. 07. 11.

Data Quality and Management인용 수 5

한 줄 요약

PromptEM은 저자원 일반화 엔티티 매칭(GEM)를 위한 새로운 프롬프트 토닝 방법으로, 사전학습된 언어모델의 사전학습과 미세조정 간 격차를 해소하기 위해 GEM을 클로즈 스타일의 작업으로 재정의한다. 불확실성 인식 자가학습과 동적 데이터 프루닝을 통해 최소한의 레이블 데이터로도 최신 기술 수준의 성능을 달성하며, 8개의 실세계 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

Entity Matching (EM), which aims to identify whether two entity records from two relational tables refer to the same real-world entity, is one of the fundamental problems in data management. Traditional EM assumes that two tables are homogeneous with the aligned schema, while it is common that entity records of different formats (e.g., relational, semi-structured, or textual types) involve in practical scenarios. It is not practical to unify their schemas due to the different formats. To support EM on format-different entity records, Generalized Entity Matching (GEM) has been proposed and gained much attention recently. To do GEM, existing methods typically perform in a supervised learning way, which relies on a large amount of high-quality labeled examples. However, the labeling process is extremely labor-intensive, and frustrates the use of GEM. Low-resource GEM, i.e., GEM that only requires a small number of labeled examples, becomes an urgent need. To this end, this paper, for the first time, focuses on the low-resource GEM and proposes a novel low-resource GEM method, termed as PromptEM. PromptEM has addressed three challenging issues (i.e., designing GEM-specific prompt-tuning, improving pseudo-labels quality, and running efficient self-training) in low-resource GEM. Extensive experimental results on eight real benchmarks demonstrate the superiority of PromptEM in terms of effectiveness and efficiency.

연구 동기 및 목표

• 레이블 데이터가 부족하고 확보하기 어려운 저자원 일반화 엔티티 매칭(GEM)의 과제를 해결한다.
• 사전학습된 언어모델(PLM)의 사전학습 목표와 미세조정 목표 간 성능 격차를 극복한다.
• 가짜 레이블을 활용해 레이블 예측에 의존도를 줄이는 효율적이고 효과적인 자가학습 프레임워크를 개발한다.
• GEM에 맞는 작업 전용 프롬프트 템플릿과 레이블 단어를 설계하여 제로샷 및 피샷 일반화 성능을 향상시킨다.
• 스키마 정렬 없이 이질적인 데이터 형식(예: 표 형식, JSON, 텍스트) 간 효과적인 매칭을 가능하게 한다.

제안 방법

• 모델이 프롬프트 템플릿에 기반해 마스킹된 레이블 단어(예: 'same' 또는 'different')를 예측하는 클로즈 스타일의 프롬프트 토닝 작업으로 GEM을 재정의한다.
• GEM 전용 프롬프트 템플릿(예: '두 엔티티는 [[MASK]]인가요?')과 레이블 단어 집합('same', 'different')을 설계하여 사전학습 목표와 일치시킨다.
• 교사 모델을 사용해 비레이블 데이터에서 가짜 레이블을 생성하는 경량 자가학습 파이프라인을 구현한다.
• 낮은 신뢰도 예측을 걸러내기 위해 불확실성 인식 가짜 레이블 선택 기법을 적용하여 가짜 레이블 데이터의 품질을 향상시킨다.
• 학습 중에 저품질 가짜 레이블 샘플을 제거하기 위해 동적 데이터 프루닝 전략을 도입하여 효율성과 강건성을 향상시킨다.
• 기존 레이블 데이터와 고신뢰도 가짜 레이블 데이터의 병합된 집합으로 학생 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 프롬프트 토닝은 일반화 엔티티 매칭에 대해 사전학습과 미세조정 간 목표 격차를 효과적으로 해소할 수 있는가?
• RQ2 최소한의 레이블 데이터로 저자원 GEM 환경에서 자가학습을 어떻게 효율적이고 효과적으로 구현할 수 있는가?
• RQ3 저자원 조건에서 모델 일반화 성능 향상에 있어 불확실성 인식 가짜 레이블 선택 전략이 어떤 역할을 하는가?
• RQ4 경량적이고 동적 프루닝 전략은 자가학습에서 계산 비용을 줄이면서도 성능을 유지할 수 있는가?
• RQ5 다양한 데이터 형식에서 감독 및 비감독 기반 베이스라인과 비교해 PromptEM의 효과성과 확장성은 어떠한가?

주요 결과

• PromptEM은 8개의 실세계 GEM 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 감독 및 비감독 방법들을 능가한다.
• 불확실성 인식 가짜 레이블 선택 전략은 평균 TPR 0.88과 TNR 0.99를 기록하여 고품질의 가짜 레이블을 확보함을 시사한다.
• 동적 데이터 프루닝은 학습 비용과 메모리 사용량을 줄여 자가학습을 대규모 데이터셋에서도 확장 가능하게 한다.
• PromptEM은 레이블 데이터 의존도를 크게 감소시켜 단 몇백 개의 레이블 예제로도 뛰어난 성능을 달성한다.
• 관계형, 반구조적, 텍스트 형식의 이질적인 데이터 형식 간에서 뛰어난 강건성과 일반화 능력을 보여준다.
• TDmatch와 비교해 SEMI-REL 데이터셋에서 학습 시간을 120시간 이상에서 10시간 이내로 단축하고, 메모리 사용량을 130GB에서 30GB 이하로 감소시켰다.