[论文解读] Multi-Row, Multi-Span Distant Supervision For Table+Text Question

Vishwajeet Kumar, Yash P. Gupta+5 more|arXiv (Cornell University)|Dec 14, 2021

Topic Modeling被引用 4

一句话总结

MITQA 是一种基于 Transformer 的 TextTableQA 系统，通过多实例损失函数和课程学习，解决了多行和多跨度设定下的远程监督问题。它在 HybridQA 和 OTT-QA 上均取得了最先进性能，在 HybridQA 排行榜上获得了最高的 EM 和 F1 分数。

ABSTRACT

Question answering (QA) over tables and linked text, also called TextTableQA, has witnessed significant research in recent years, as tables are often found embedded in documents along with related text. HybridQA and OTT-QA are the two best-known TextTableQA datasets, with questions that are best answered by combining information from both table cells and linked text passages. A common challenge in both datasets, and TextTableQA in general, is that the training instances include just the question and answer, where the gold answer may match not only multiple table cells across table rows but also multiple text spans within the scope of a table row and its associated text. This leads to a noisy multi instance training regime. We present MITQA, a transformer-based TextTableQA system that is explicitly designed to cope with distant supervision along both these axes, through a multi-instance loss objective, together with careful curriculum design. Our experiments show that the proposed multi-instance distant supervision approach helps MITQA get state-of-the-art results beating the existing baselines for both HybridQA and OTT-QA, putting MITQA at the top of HybridQA leaderboard with best EM and F1 scores on a held out test set.

研究动机与目标

• 为了解决 TextTableQA 中噪声多实例监督的挑战，其中答案可能分布在多个表格行和文本跨度中。
• 通过在训练过程中显式建模多行和多跨度的答案匹配，提升模型在混合表格-文本问答任务中的鲁棒性和准确性。
• 通过利用远程监督而无需精确的单元格或跨度级监督，减轻人工标注负担。
• 设计一种模块化、可训练的流水线，将检索和阅读组件分离，以提升优化效率和可解释性。

提出的方法

• MITQA 将每个与关联文本段落相连的表格行视为单一检索单元，实现对混合上下文的结构化处理。
• 采用查询感知的篇章过滤机制，在输入 Transformer 之前减少上下文长度，并仅保留最相关的跨度。
• 在训练过程中应用多实例损失函数，以处理不同行和篇章中多个有效答案跨度的情况。
• 通过问题与上下文表征之间的早期交互（交叉注意力）提升答案定位的准确性。
• 采用课程学习策略，逐步增加训练复杂度，以提升收敛性和泛化能力。
• 答案重排序模块结合多个行及其关联篇章的预测结果，选择最终答案。

实验结果

研究问题

• RQ1 当答案与多个表格行和多个链接文本跨度相关联时，TextTableQA 系统如何有效处理远程监督？
• RQ2 通过在训练中建模多个有效答案实例，多实例损失函数是否能提升模型性能？
• RQ3 查询感知的篇章过滤是否能通过保留相关上下文并减少噪声，提升答案抽取的准确性？
• RQ4 课程学习在多实例 TextTableQA 中在多大程度上提升了训练稳定性和性能？
• RQ5 尽管存在误差累积的潜在风险，模块化而非端到端的设计是否仍能在 TextTableQA 中实现最先进结果？

主要发现

• MITQA 在 HybridQA 排行榜上取得了最先进性能，在保留测试集上获得了最高的精确匹配（EM）和 F1 分数。
• 与标准交叉熵损失相比，多实例损失将行检索准确率提升了约 2%。
• 通过保留相关上下文并减少截断导致的信息损失，篇章过滤使行检索准确率提升了约 3%。
• 多实例损失与篇章过滤相结合，使 HybridQA 验证集上的行检索准确率达到 86.38%。
• MITQA 在 HybridQA 和 OTT-QA 上均优于 HYBRIDER 及其他现有基线模型，展现出在不同基准上的强大泛化能力。
• 案例研究表明，当 HYBRIDER 因多行中存在虚假匹配而失败时，MITQA 仍能正确识别答案。