[论文解读] Bridge the Gap between Language models and Tabular Understanding

Nuo Chen, Linjun Shou+6 more|arXiv (Cornell University)|Feb 16, 2023

Topic Modeling被引用 6

一句话总结

本文提出 UTP，一种统一的预训练框架，通过动态支持表格、文本及表格-文本输入，弥合了表格语言建模中的输入差距。利用通用掩码语言建模（universal masked language modeling）与跨模态对比正则化（CMCR），UTP 在单模态（如表格检索）与跨模态（如表格问答）任务上均达到最先进性能，在 NQ-TABLES 数据集上相较 TAPAS 将 R@1 提升 9.5 个百分点。

ABSTRACT

Table pretrain-then-finetune paradigm has been proposed and employed at a rapid pace after the success of pre-training in the natural language domain. Despite the promising findings in tabular pre-trained language models (TPLMs), there is an input gap between pre-training and fine-tuning phases. For instance, TPLMs jointly pre-trained with table and text input could be effective for tasks also with table-text joint input like table question answering, but it may fail for tasks with only tables or text as input such as table retrieval. To this end, we propose UTP, an approach that dynamically supports three types of multi-modal inputs: table-text, table, and text. Specifically, UTP is pre-trained with two strategies: (1) We first utilize a universal mask language modeling objective on each kind of input, enforcing the model to adapt various inputs. (2) We then present Cross-Modal Contrastive Regularization (CMCR), which utilizes contrastive learning to encourage the consistency between table-text cross-modality representations via unsupervised instance-wise training signals during pre-training. By these means, the resulting model not only bridges the input gap between pre-training and fine-tuning but also advances in the alignment of table and text. Extensive results show UTP achieves superior results on uni-modal input tasks (e.g., table retrieval) and cross-modal input tasks (e.g., table question answering).

研究动机与目标

• 解决预训练-微调范式中表格语言模型的输入差距问题，其中固定输入格式限制了在不同任务间的泛化能力。
• 克服基于 token 的预训练目标无法捕捉表格与文本之间全局对齐的局限性。
• 使单一统一模型能够有效处理多样化的下游任务，包括单模态（仅表格或仅文本）与跨模态（表格-文本）输入。
• 通过对比学习增强跨模态对齐，从而提升表格检索与表格问答任务的性能。

提出的方法

• UTP 在三种输入类型上应用通用掩码语言建模（MLM）：纯表格、纯文本以及表格-文本序列，实现跨模态的联合预训练。
• 提出一种新颖的跨模态对比正则化（CMCR）目标，通过对比学习对齐语义等价的表格与文本内容表示。
• CMCR 利用无监督实例级信号，将匹配的表格-文本对表示拉近，同时将不匹配的对表示推远。
• CMCR 目标定义在三类表示之上：仅文本（r_t）、仅表格（r_w）与表格-文本（r_wt），每对之间设有独立的对比损失。
• 在对比损失中应用温度缩放（τ）以稳定训练，消融实验表明 τ=0.05 为最优设置。
• 模型在大规模表格-文本对上进行预训练，并在下游任务中通过动态输入格式进行微调。

实验结果

研究问题

• RQ1 统一的预训练框架能否在不牺牲任一任务性能的前提下，有效支持多种输入模态——表格、文本及表格-文本？
• RQ2 引入一种全局、实例级的对比目标，是否能相比基于 token 的目标，更有效地提升表格与文本表示之间的对齐？
• RQ3 CMCR 在单模态任务（如仅输入表格的表格检索）中，能在多大程度上提升性能？
• RQ4 与现有预训练策略相比，通用 MLM 与 CMCR 的结合在泛化能力与零样本迁移性方面表现如何？

主要发现

• 在 NQ-TABLES 表格检索基准上，UTP 将 R@1 分数从 TAPAS 的 28.95 提升至 38.45，相对提升 9.5 个百分点。
• 在使用困难负样本挖掘的情况下，UTP 达到 50.54 的 R@1，显著优于次佳基线（44.42），展现出对困难负样本的鲁棒性。
• 在 WIKISQL 表格问答基准上，UTP 在全监督设置下取得 88.1% 的记号准确率，超越 TAPAS（86.4%），表现出强大的泛化能力。
• 消融实验确认，通用 MLM 与 CMCR 均不可或缺：移除 CMCR 后 R@50 降至 88.90，移除 MLM 后降至 88.51。
• 负责对齐纯文本与纯表格表示的 CMCR 组件（L(r_t, r_w)）对性能贡献最大，凸显其在跨模态对齐中的核心作用。
• 超参数分析表明，在 WIKISQL 上 τ=0.05 的对比损失温度缩放参数可获得最优性能，表明对温度缩放具有敏感性。