[논문 리뷰] TURL: Table Understanding through Representation Learning

Xiang Deng, Huan Sun외 3명|arXiv (Cornell University)|2020. 06. 26.

Data Quality and Management참고 문헌 43인용 수 43

한 줄 요약

TURL은 관계형 Web 표를 위한 사전 학습/미세 조정 프레임워크를 도입하며, 구조 인식 트랜스포머와 Masked Entity Recovery(MER) 목표를 사용해 맥락화된 표현을 학습하고, 다수의 표 이해 작업에서 강력한 성능을 가능하게 한다.

ABSTRACT

Relational tables on the Web store a vast amount of knowledge. Owing to the wealth of such tables, there has been tremendous progress on a variety of tasks in the area of table understanding. However, existing work generally relies on heavily-engineered task-specific features and model architectures. In this paper, we present TURL, a novel framework that introduces the pre-training/fine-tuning paradigm to relational Web tables. During pre-training, our framework learns deep contextualized representations on relational tables in an unsupervised manner. Its universal model design with pre-trained representations can be applied to a wide range of tasks with minimal task-specific fine-tuning. Specifically, we propose a structure-aware Transformer encoder to model the row-column structure of relational tables, and present a new Masked Entity Recovery (MER) objective for pre-training to capture the semantics and knowledge in large-scale unlabeled data. We systematically evaluate TURL with a benchmark consisting of 6 different tasks for table understanding (e.g., relation extraction, cell filling). We show that TURL generalizes well to all tasks and substantially outperforms existing methods in almost all instances.

연구 동기 및 목표

• 작업별 엔지니어링을 최소화하기 위해 관계형 웹 표에 대한 사전 학습/미세 조정 패러다임을 도입한다.
• 행-열 구조를 인코딩하는 구조 인식 트랜스포머로 관계형 표를 모델링한다.
• 사전 학습에서 Masked Entity Recovery(MER) 목표를 통해 표의 사실 지식을 학습한다.
• 미세 조정이 최소화된 상태에서 다양한 다운스트림 작업에 적응 가능한 범용 아키텍처를 제공한다.

제안 방법

• 표 구성 요소(캡션, 헤더, 엔티티)를 분리 가능한 입력 표현으로 임베딩한다.
• 행/열 기반의 어텐션 제약을 강제하기 위해 가시성 행렬이 있는 구조 인식 트랜스포머를 사용한다.
• 어휘적 지식과 사실 지식을 학습하기 위해 Masked Language Model(MLM)과 Masked Entity Recovery(MER) 목표로 사전 학습한다.
• TinyBERT에서 초기화하고 Wikipedia의 570K개의 관계형 표에서 학습한다.
• 6개의 다운스트림 작업에서 태스크 특화 라벨링 데이터를 사용해 범용 모델을 미세 조정한다.

실험 결과

연구 질문

• RQ1 TURL이 비지도 사전 학습 단계에서 관계형 웹 표에 대한 맥락화된 표현을 학습할 수 있는가?
• RQ2 가시성 마스킹이 적용된 구조 인식 트랜스포머가 행-열 표 구조를 효과적으로 포착하는가?
• RQ3 Masked Entity Recovery 목표가 표 셀의 사실 지식 학습을 향상시키는가?
• RQ4 사전 학습된 모델이 다양한 다운스트림 표 이해 작업에서 얼마나 잘 일반화되는가?

주요 결과

• TURL은 평가된 작업에서 기존의 작업 특화 방법과 얕은 Word2Vec 기반 방법을 크게 능가한다.
• 이 프레임워크는 작업별 미세 조정이 최소화된 상태로도 다양한 표 이해 작업에 잘 일반화된다.
• 가시성 행렬을 갖춘 구조 인식 인코더가 자기 주의(attention) 중에 관계형 표의 행-열 구조를 효과적으로 모델링한다.
• MER와 MLM 목표가 함께 대규모 비라벨 표에서 어휘적 의미론과 사실적 엔티티 지식을 학습하도록 한다.