[论文解读] HiTab: A Hierarchical Table Dataset for Question Answering and Natural Language Generation

Zhoujun Cheng, Haoyu Dong+7 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Text Analysis Techniques被引用 11

一句话总结

HiTab 引入了一个大规模、跨领域的层次化表格数据集，源自统计报告和 Wikipedia，专为问题回答（QA）和自然语言生成（NLG）而设计。该数据集包含细粒度的实体与数值对齐标注、支持层次结构感知的逻辑形式，以及部分监督训练，显著提升了 QA 准确率至 45.1%，并减少了虚假预测和无意义的 NLG 输出。

ABSTRACT

Tables are often created with hierarchies, but existing works on table reasoning mainly focus on flat tables and neglect hierarchical tables. Hierarchical tables challenge existing methods by hierarchical indexing, as well as implicit relationships of calculation and semantics. This work presents HiTab, a free and open dataset to study question answering (QA) and natural language generation (NLG) over hierarchical tables. HiTab is a cross-domain dataset constructed from a wealth of statistical reports (analyses) and Wikipedia pages, and has unique characteristics: (1) nearly all tables are hierarchical, and (2) both target sentences for NLG and questions for QA are revised from original, meaningful, and diverse descriptive sentences authored by analysts and professions of reports. (3) to reveal complex numerical reasoning in statistical analyses, we provide fine-grained annotations of entity and quantity alignment. HiTab provides 10,686 QA pairs and descriptive sentences with well-annotated quantity and entity alignment on 3,597 tables with broad coverage of table hierarchies and numerical reasoning types. Targeting hierarchical structure, we devise a novel hierarchy-aware logical form for symbolic reasoning over tables, which shows high effectiveness. Targeting complex numerical reasoning, we propose partially supervised training given annotations of entity and quantity alignment, which helps models to largely reduce spurious predictions in the QA task. In the NLG task, we find that entity and quantity alignment also helps NLG models to generate better results in a conditional generation setting. Experiment results of state-of-the-art baselines suggest that this dataset presents a strong challenge and a valuable benchmark for future research.

研究动机与目标

• 为解决在统计报告和研究论文中广泛存在的层次化表格上，问题回答与自然语言生成缺乏基准数据集的问题。
• 通过从专家撰写的报告中提取并修订真实语句，而非依赖合成或人工生成的问题，创建一个真实、多样且高质量的数据集。
• 通过在自然语言文本与表格单元格之间引入细粒度的实体与数值对齐标注，提升表格推理能力。
• 开发一种层次结构感知的逻辑形式与部分监督训练策略，以减少 QA 中的虚假预测，并提升 NLG 的事实一致性。
• 建立一个具有挑战性的基准，真实反映现实世界中数值推理、层次索引以及表格中隐含语义关系的复杂性。

提出的方法

• 通过从公开来源提取层次化表格及其配套描述性语句构建 HiTab：包括 Statistics Canada（StatCan）、National Science Foundation（NSF）以及 Wikipedia（通过 ToTTo 数据集）。
• 将真实分析师撰写的语句改写为 QA 对，而非让标注者从零开始生成问题，以确保自然性与领域相关性。
• 引入细粒度标注，用于实体对齐（将文本中的提及链接到表格单元格）和数值对齐（将数值表达式链接到表格单元格及其计算关系）。
• 设计一种支持多层、二维索引的层次结构感知逻辑形式，利用顶部和左侧表头对表格单元格进行索引。
• 采用对齐的实体与数值进行部分监督训练，以指导模型，减少 QA 中的虚假预测，并提升 NLG 的事实一致性。
• 在生成 NLG 时，同时基于对齐的单元格与计算类型（如总计、比例）进行条件控制，实现更合理且上下文准确的文本生成。

实验结果

研究问题

• RQ1 从统计报告中真实专家撰写的语句构建的数据集，是否能作为层次化表格 QA 和 NLG 的更自然、更多样化的基准，相较于合成或人工创建的数据？
• RQ2 细粒度的实体与数值对齐标注在多大程度上提升了层次化表格上 QA 和 NLG 模型的性能与事实一致性？
• RQ3 表格层次的深度在多大程度上影响 QA 和 NLG 的难度？模型是否能跨不同层次深度进行泛化？
• RQ4 层次结构感知的逻辑形式与部分监督训练是否能显著减少 QA 中的虚假预测和 NLG 中的无意义输出？
• RQ5 跨领域泛化如何影响模型在层次化表格推理任务上的表现？

主要发现

• HiTab 对现有基线构成严峻挑战，当使用面向扁平表格优化的逻辑形式时，MAPO 在 QA 上的准确率仅为 29.2%。
• 所提出的层次结构感知逻辑形式结合部分监督训练，将 QA 准确率提升至 45.1%，显著减少了虚假预测。
• BLEU 和 PARENT 分数随层次深度增加而下降——在深度 4+ 时分别为 21.3 和 31.6，表明更深的层次结构对 NLG 模型构成更大挑战。
• 使用单元格与计算类型条件控制微调的 T5 模型，取得 16.9 BLEU 和 28.8 PARENT 分数，优于 BART，证明了结构化条件控制的优势。
• 跨领域评估显示所有指标均出现一致的性能下降，凸显了跨领域泛化挑战。
• 该数据集伦理地从公开报告中收集，无隐私问题，经严格人工标注后包含 3,597 个表格和 10,672 条标注语句。