[论文解读] FORTAP: Using Formulae for Numerical-Reasoning-Aware Table Pretraining.
FORTAP 是一种新颖的表格预训练方法，利用电子表格公式作为弱监督信号，以增强表格中的数值推理能力。通过引入两种公式感知的预训练任务——公式重建和公式预测，FORTAP 在单元格类型分类和公式预测任务上均取得了最先进性能，证明了公式监督在结构化数据数值推理中的有效性。
Tables store rich numerical data, but numerical reasoning over tables is still a challenge. In this paper, we find that the spreadsheet formula, which performs calculations on numerical values in tables, is naturally a strong supervision of numerical reasoning. More importantly, large amounts of spreadsheets with expert-made formulae are available on the web and can be obtained easily. FORTAP is the first method for numerical-reasoning-aware table pretraining by leveraging large corpus of spreadsheet formulae. We design two formula pretraining tasks to explicitly guide FORTAP to learn numerical reference and calculation in semi-structured tables. FORTAP achieves state-of-the-art results on two representative downstream tasks, cell type classification and formula prediction, showing great potential of numerical-reasoning-aware pretraining.
研究动机与目标
- 为解决尽管表格中存在大量数值数据，但表格上的数值推理任务仍然具有挑战性的问题。
- 利用电子表格公式所提供的自然监督信号，这些公式编码了数值计算和推理模式。
- 开发一种预训练框架，显式学习半结构化表格中的数值引用和计算。
- 通过公式感知的表示学习，提升下游任务如单元格类型分类和公式预测的性能。
- 证明利用大规模公式语料进行预训练，使模型具备数值推理意识的可行性和有效性。
提出的方法
- FORTAP 提出两种公式预训练任务：公式重建和公式预测，以引导模型学习数值推理能力。
- 它利用包含专家编写公式的大量真实世界电子表格语料，这些公式作为数值操作的强监督信号。
- 该方法在这些公式任务上微调预训练的表格编码器，使表示与数值推理模式对齐。
- 公式重建涉及对表格单元格中的公式进行掩码并预测，而公式预测则是在给定表格和目标单元格的情况下预测正确公式。
- 该方法显式建模表格结构中的数值引用（例如，引用特定单元格）和计算（例如，SUM、AVERAGE）。
- FORTAP 将公式监督整合到预训练目标中，使模型能够在无需人工标注推理步骤的情况下学习推理模式。
实验结果
研究问题
- RQ1电子表格公式能否作为表格预训练中数值推理的有效监督信号？
- RQ2公式感知的预训练能否提升下游任务（如单元格类型分类和公式预测）的性能？
- RQ3FORTAP 在学习数值推理能力方面与标准预训练方法相比表现如何？
- RQ4公式预训练任务在多大程度上增强了模型理解与生成表格中数值计算的能力？
主要发现
- FORTAP 在单元格类型分类任务上取得了最先进性能，通过公式感知的预训练超越了先前方法。
- 它在公式预测任务上也达到了最先进结果，展示了改进的推理与生成能力。
- 使用公式作为监督信号显著增强了模型学习表格中数值引用与计算的能力。
- 两种公式预训练任务——重建与预测——共同提升了数值推理的表示学习效果。
- FORTAP 表明，大规模、可公开获取的电子表格公式语料可被有效用于预训练，且无需人工标注的推理步骤。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。