[논문 리뷰] Bridge the Gap between Language models and Tabular Understanding

Nuo Chen, Linjun Shou외 6명|arXiv (Cornell University)|2023. 02. 16.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 표와 텍스트, 표-텍스트 입력을 동적으로 지원함으로써 표어휘 모델링에서 입력 갭을 해소하는 통합형 사전학습 프레임워크 UTP를 제안한다. 유니버설 마스킹 언어 모델링과 교차모달 대비 정규화(CMCR)를 사용하여 UTP는 단모달(예: 표 검색) 및 교차모달(예: 표 질의 응답) 작업 모두에서 최신 기준 성능을 달성하며, NQ-TABLES에서 TAPAS 대비 R@1 점수를 9.5점 향상시켰다.

ABSTRACT

Table pretrain-then-finetune paradigm has been proposed and employed at a rapid pace after the success of pre-training in the natural language domain. Despite the promising findings in tabular pre-trained language models (TPLMs), there is an input gap between pre-training and fine-tuning phases. For instance, TPLMs jointly pre-trained with table and text input could be effective for tasks also with table-text joint input like table question answering, but it may fail for tasks with only tables or text as input such as table retrieval. To this end, we propose UTP, an approach that dynamically supports three types of multi-modal inputs: table-text, table, and text. Specifically, UTP is pre-trained with two strategies: (1) We first utilize a universal mask language modeling objective on each kind of input, enforcing the model to adapt various inputs. (2) We then present Cross-Modal Contrastive Regularization (CMCR), which utilizes contrastive learning to encourage the consistency between table-text cross-modality representations via unsupervised instance-wise training signals during pre-training. By these means, the resulting model not only bridges the input gap between pre-training and fine-tuning but also advances in the alignment of table and text. Extensive results show UTP achieves superior results on uni-modal input tasks (e.g., table retrieval) and cross-modal input tasks (e.g., table question answering).

연구 동기 및 목표

• 표어휘 모델의 사전학습-미세조정 파라다임에서 고정된 입력 형식이 다양한 작업 간 일반화를 제한하는 입력 갭을 해결한다.
• 표와 텍스트 간의 전반적인 정렬을 포착하지 못하는 토큰 수준의 사전학습 목표의 한계를 극복한다.
• 단일 통합 모델이 단모달(표 전용 또는 텍스트 전용) 및 교차모달(표-텍스트) 입력을 효과적으로 처리할 수 있도록 한다.
• 대비 학습을 통해 교차모달 정렬을 향상시켜 표 검색 및 표 질의 응답 성능을 향상시킨다.

제안 방법

• UTP는 순수 표, 순수 텍스트, 표-텍스트 시퀀스의 세 가지 입력 유형에 대해 유니버설 마스킹 언어 모델링(MLM)을 적용하여 다양한 모odal 간 공동 사전학습을 가능하게 한다.
• 표와 텍스트의 의미적으로 동일한 내용 간 표현을 대비 학습을 통해 정렬하기 위해 새로운 교차모달 대비 정규화(CMCR) 목표를 도입한다.
• CMCR는 일치하는 표-텍스트 쌍의 표현을 가까이, 일치하지 않는 쌍의 표현을 멀리 떼어내기 위해 비지도 인스턴스 수준 신호를 사용한다.
• CMCR 목표는 텍스트 전용(r_t), 표 전용(r_w), 표-텍스트(r_wt)의 세 가지 표현 유형에 대해 정의되며, 각 쌍에 대해 별도의 대비 손실이 존재한다.
• 학습 안정화를 위해 대비 손실에 온도 스케일링(τ)을 적용하였으며, 탐색 연구에서 τ=0.05가 최적임을 확인하였다.
• 대규모 표-텍스트 쌍으로 사전학습을 수행하고, 동적 입력 포맷팅을 통해 최종 작업에 대해 미세조정한다.

실험 결과

연구 질문

• RQ1 표, 텍스트, 표-텍스트의 다수의 입력 모달을 손실 없이 효과적으로 지원할 수 있는 통합 사전학습 프레임워크가 가능한가?
• RQ2 토큰 수준의 목표와 비교해 전반적인 인스턴스 수준의 대비 목표가 표와 텍스트 표현 간 정렬을 향상시키는가?
• RQ3 CMCR가 유일하게 표 입력이 존재하는 단모달 작업인 표 검색에서 성능 향상에 얼마나 기여하는가?
• RQ4 유니버설 MLM과 CMCR의 조합이 일반화 및 제로샷 전이 가능성 측면에서 기존 사전학습 전략과 비교해 어떻게 성능을 냈는가?

주요 결과

• UTP는 NQ-TABLES 표 검색 벤치마크에서 TAPAS의 28.95에서 38.45로 R@1 점수를 향상시켜 상대적 개선 폭 9.5점 기록.
• 어려운 음성 예제를 포함한 하드 음성 마이닝을 적용했을 때, UTP는 R@1 50.54를 기록하여 이전 최고 성능 기준(44.42)을 크게 앞서며 강건성을 입증.
• WIKISQL 표 질의 응답 벤치마크에서 전반적 지도 학습 조건에서 88.1%의 표기 정확도를 달성하여 TAPAS(86.4%)를 초월하고 강력한 일반화 능력을 보여줌.
• 아블레이션 연구에서 유니버설 MLM과 CMCR가 모두 필수적임을 확인: CMCR 제거 시 R@50는 88.90으로 하락하고, MLM 제거 시 88.51로 하락함.
• 순수 텍스트와 순수 표 표현 간 정렬을 담당하는 CMCR 구성요소(L(r_t, r_w))가 성능 향상에 가장 기여함을 시사하며, 교차모달 정렬의 핵심 역할을 확인.
• 하이퍼파rameter 분석 결과, WIKISQL에서 대비 손실의 온도 τ=0.05가 최적 성능을 내며, 온도 스케일링에 민감함을 확인함.