[논문 리뷰] RPT: Relational Pre-trained Transformer Is Almost All You Need towards Democratizing Data Preparation

Nan Tang, Ju Fan외 6명|arXiv (Cornell University)|2020. 12. 04.

Data Quality and Management참고 문헌 78인용 수 8

한 줄 요약

RPT, 관계형 사전 훈련된 트랜스포머로, 원시 관계 투플에서 디노이징 오토에인코더를 활용하고 양방향 인코더와 자동회귀 디코더를 사용하여 사전 훈련함으로써 데이터 정제, 스키마 매칭, 엔티티 해소, 정보 추출과 같은 데이터 준비 작업에 대해 제로샷 및 패기샷 학습을 가능하게 함. 1,000개 이상의 레이블된 예제를 사용한 경우 최신 기술 수준의 성능를 달성하며, 패기샷 설정에서 레이블된 예제가 전혀 없을 경우에도 동일한 성능를 유지함.

ABSTRACT

Can AI help automate human-easy but computer-hard data preparation tasks that burden data scientists, practitioners, and crowd workers? We answer this question by presenting RPT, a denoising auto-encoder for tuple-to-X models (X could be tuple, token, label, JSON, and so on). RPT is pre-trained for a tuple-to-tuple model by corrupting the input tuple and then learning a model to reconstruct the original tuple. It adopts a Transformer-based neural translation architecture that consists of a bidirectional encoder (similar to BERT) and a left-to-right autoregressive decoder (similar to GPT), leading to a generalization of both BERT and GPT. The pre-trained RPT can already support several common data preparation tasks such as data cleaning, auto-completion and schema matching. Better still, RPT can be fine-tuned on a wide range of data preparation tasks, such as value normalization, data transformation, data annotation, etc. To complement RPT, we also discuss several appealing techniques such as collaborative training and few-shot learning for entity resolution, and few-shot learning and NLP question-answering for information extraction. In addition, we identify a series of research opportunities to advance the field of data preparation.

연구 동기 및 목표

• 데이터 정제, 스키마 매칭, 엔티티 해소, 정보 추출과 같은 데이터 준비 작업이 수반하는 노동 집약적이고 시간 소모적인 성격을 해결하기 위함.
• 대규모 표 자료 코퍼스에 노출됨으로써 인간의 지식 습득 방식을 모방하는 관계형 데이터를 위한 자기지도 사전 훈련 프레임워크 개발.
• 전이 학습 및 패기샷 미세조정을 통해 최소한의 레이블된 예제로 새로운 데이터 준비 작업에 신속히 적응할 수 있도록 함.
• 전문가가 레이블링한 데이터에 의존도를 줄이고 비전문가가 AI를 통해 복잡한 데이터 작업을 수행할 수 있도록 데이터 준비의 민주화.
• 관계형 데이터 작업을 사전 훈련된 NLP 모델 및 AI-크라우드 협업에 연결하는 데 새로운 연구 기회를 식별하고 탐색함.

제안 방법

• 입력 투플이 손상된 상태로 주어지며, 모델이 원래의 투플을 재구성하도록 하는 디노이징 오토에인코더 사전 훈련 목적을 사용함.
• BERT와 유사한 양방향 인코더와 GPT와 유사한 왼쪽에서 오른쪽 자동회귀 디코더를 갖춘 트랜스포머 기반 아키텍처를 사용하여, 문맥적 표현과 시퀀스 생성을 동시에 학습함.
• 레이블이 없는 대규모 관계형 표 코퍼스에서 사전 훈련하여 다양한 데이터 스키마와 값 간의 일반화 가능한 패턴을 학습함.
• 다음 단계 작업을 위해 RPT는 표준 지도 미세조정을 사용하여 값 정규화, 데이터 변환, 주석 처리 등의 작업에 적응함.
• 레이블이 없는 예제로도 엔티티 매칭 모델을 훈련하기 위해 공동 훈련(Collaborative Training, CT)을 도입하여 모델의 신뢰도와 예측 일관성을 활용함.
• 정보 추출을 위해 RPT는 NLP 질의 응답 방식과 연결되며, 소수의 예제로부터 질문 템플릿(예: '[M]은 무엇입니까?')을 생성하고 사전 훈련된 QA 모델을 사용해 구간을 추출함.

실험 결과

연구 질문

• RQ1 자기지도 사전 훈련된 모델이 인간 레이블링 없이 원시 표에서 일반화 가능한 관계형 패턴을 학습하여 다양한 데이터 준비 작업을 지원할 수 있는가?
• RQ2 사전 훈련된 RPT 모델이 데이터 정제, 스키마 매칭, 엔티티 해소 작업에서 제로샷 또는 패기샷 학습을 얼마나 잘 수행할 수 있는가?
• RQ3 레이블이 없는 훈련 예제로도 공동 훈련된 엔티티 매칭 모델이 지도 학습 모델과 유사한 성능을 달성할 수 있는가?
• RQ4 사전 훈련된 모델과 프롬프트 엔지니어링을 활용해 정보 추출 작업을 효과적으로 NLP 질의 응답 벤치마크에 매핑할 수 있는가?
• RQ5 RPT 및 그 변종을 활용해 크라우드소싱에서 인간의 노동을 줄이거나 대체하거나 보완할 수 있는가?

주요 결과

• 공동 훈련(CT)은 Abt-Buy 데이터셋에서 F1 스코어 0.72, Amazon-Google 데이터셋에서 0.53를 기록하며 ZeroER를 초월하고, 각각 7,689개 및 9,167개의 레이블된 예제가 필요한 DeepMatcher와 유사한 성능를 보임.
• Abt-Buy 데이터셋에서 CT는 Ditto(F1: 0.71)와 유사한 성능를 기록하지만, 테스트 세트의 레이블된 예제를 전혀 사용하지 않아 패기샷 일반화 능력이 뛰어남.
• 1,000개 이상의 레이블된 예제로 미세조정된 RPT는 엔티티 해소 작업에서 최신 기술 수준의 성능를 달성하며, DeepMatcher 및 Ditto와 유사하거나 이를 초월함.
• 프롬프트 템플릿을 통한 NLP 질의 응답과의 통합은 효과적인 정보 추출을 가능하게 하며, 기존 최신 기술 수준의 방법과 유사한 성능를 기록함.
• 모델은 다양한 데이터 준비 작업에 대해 제로샷 및 패기샷 능력을 제공하여 인간 레이블링 데이터의 필요성을 크게 감소시킴.
• 결과는 사전 훈련된 관계형 모델를 활용해 데이터 준비의 민주화가 가능하며, 전문가 노동과 레이블 데이터셋에 대한 의존도를 감소시킬 수 있음을 검증함.