[논문 리뷰] Table Pre-training: A Survey on Model Architectures, Pre-training Objectives, and Downstream Tasks

Haoyu Dong, Zhoujun Cheng외 7명|arXiv (Cornell University)|2022. 01. 24.

Data Quality and Management인용 수 14

한 줄 요약

이 종합적 서베이는 모델 아키텍처, 사전 훈련 목표, 그리고 후행 작업을 포함하여 표(pre-training) 프레임워크에 대한 포괄적인 검토를 제공한다. 전문화된 어텐션 메커니즘과 자기지도 학습 목표—예를 들어 마스킹된 언어 모델링, 노이즈 제거, 신경 SQL 실행—는 표 질문 응답, 유형 분류, 공식 예측과 같은 작업에서 최신 성능을 달성하는 데 기여한다.

ABSTRACT

Since a vast number of tables can be easily collected from web pages, spreadsheets, PDFs, and various other document types, a flurry of table pre-training frameworks have been proposed following the success of text and images, and they have achieved new state-of-the-arts on various tasks such as table question answering, table type recognition, column relation classification, table search, formula prediction, etc. To fully use the supervision signals in unlabeled tables, a variety of pre-training objectives have been designed and evaluated, for example, denoising cell values, predicting numerical relationships, and implicitly executing SQLs. And to best leverage the characteristics of (semi-)structured tables, various tabular language models, particularly with specially-designed attention mechanisms, have been explored. Since tables usually appear and interact with free-form text, table pre-training usually takes the form of table-text joint pre-training, which attracts significant research interests from multiple domains. This survey aims to provide a comprehensive review of different model designs, pre-training objectives, and downstream tasks for table pre-training, and we further share our thoughts and vision on existing challenges and future opportunities.

연구 동기 및 목표

• 구조화된 표 이해를 위한 모델 아키텍처를 체계적으로 검토하는 것, 특히 하이브리드 행-열 어텐션과 트리 기반 아키텍처를 포함하여.
• 표 추론 향상을 위한 다양한 사전 훈련 목표 분석, 예를 들어 마스킹된 열 예측, 셀 값의 노이즈 제거, 신경 SQL 실행.
• 표 사전 훈련에서의 기존 후행 작업 매핑, 표 질문 응답, 유형 분류, 공식 예측 포함.
• 비라벨 표를 활용한 자기지도 학습에 있어 열려 있는 과제와 향후 연구 방향 파악.
• 특히 의미 분석 및 데이터 준비와 같은 교차 도메인 응용 분야에서, 표 사전 훈련이 구조화된 데이터에서의 전이 학습을 어떻게 발전시키는지 통합된 개요 제공.

제안 방법

• 분석 범위를 정의하기 위해 표 유형(정형, 반정형, 비정형)과 구조(관계형, 실체형, 행렬형, 레이아웃형)의 분류를 제안.
• TaBERT(행 방향 및 열 방향 어텐션), TaPas(종단 간 통합 추론), TURL(엔티티 연결을 위한 마스킹 어텐션), TUTA(이중 트리 어텐션), TaPEx(신경 SQL 실행기)와 같은 주요 모델 아키텍처 검토.
• 마스킹된 언어 모델링(MLM), 마스킹된 열 예측(MCP), 셀 값의 노이즈 제거, 표-텍스트 추론을 위한 신경 SQL 실행 학습과 같은 사전 훈련 목표 분석.
• 최근 접근 방식인 UnifiedSKG를 도입하여, 6개 작업에 걸쳐 21개 데이터셋에 T5를 직접 피니팅함으로써 특수 작업 사전 훈련 없이도 뛰어난 성능 달성.
• T2Dv2, SemTab, WikiTable, TableSense와 같은 벤치마크 데이터셋을 사용하여 다양한 후행 작업에서 모델 성능 평가.
• 표 사전 훈련을 기계 학습 파이프라인에 통합하는 방안 논의, 특성 표현 학습 및 표 탐지, 정제와 같은 데이터 준비 작업 포함.

실험 결과

연구 질문

• RQ1 표 사전 훈련 모델에서 전문화된 어텐션 메커니즘(예: 행-열, 트리 기반)이 구조화된 추론 작업 성능을 어떻게 향상시키는가?
• RQ2 표의 의미적 및 구조적 관계를 가장 효과적으로 포착하는 사전 훈련 목표는 무엇이며, 기존 NLP 목표와 비교해 볼 때 어떻게 다른가?
• RQ3 표 사전 훈련 모델이 표 질문 응답, 유형 분류, 공식 예측과 같은 다양한 후행 작업으로 얼마나 잘 일반화되는가?
• RQ4 최근의 접근 방식인 신경 SQL 실행 또는 직접 T5 피니팅이 표 이해 분야에서 전통적인 사전 훈련 패러다임을 어떻게 도전하는가?
• RQ5 실제로 다양하고 노이즈가 많은 표 형식의 표준화된 사전 훈련을 확장하는 데 있어 핵심적인 제약 조건과 열려 있는 과제는 무엇인가?

주요 결과

• TaBERT와 TaPas는 하이브리드 행-열 어텐션과 마스킹된 언어 모델링을 활용하여 표 질문 응답 벤치마크에서 최신 성능 달성.
• TURL은 관계형 표에서 엔티티 표현을 학습하는 데 마스킹 어텐션의 효과를 입증하여, 표 매칭 및 증강 작업에서 성능 향상.
• TUTA는 트리 기반의 위치 인코딩을 갖춘 통합 이중 트리 어텐션 메커니즘을 도입하여 다섯 개인 표 이해 데이터셋에서 새로운 SOTA 성능 확보.
• TaPEx는 신경 SQL 실행기를 학습하는 데 사전 훈련을 통해 표-텍스트 종합 추론 성능을 크게 향상시켜, 복잡한 추론 시나리오에서 전통적 목표를 능가.
• UnifiedSKG는 6개 작업에 걸쳐 21개 데이터셋에 T5를 직접 피니팅함으로써 유망한 성능을 달성했고, 심지어 SOTA 성능도 기록하여, 대규모 시퀀스 모델이 특수 작업 설계 없이도 표 사전 훈련에 효과적일 수 있음을 시사.
• 이 서베이는 비라벨 표에서의 사전 훈련이 강력한 성능을 내지만, 다양한 표 형식, 노이즈 데이터, 그리고 단순 분류나 QA를 넘는 복잡한 추론 처리에 대한 과제가 여전히 남아 있음을 밝힘.