[论文解读] Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder

Fangyu Lei, Shizhu He+3 more|arXiv (Cornell University)|Sep 16, 2022

Topic Modeling被引用 5

一句话总结

本文提出 RegHNT，一种基于图的编码器与基于树的解码器模型，用于在表格-文本混合内容中回答数值推理问题。通过构建捕捉问题-表格-文本对齐关系的关联图，增强跨模态理解，并端到端生成表达式树，该模型在 TAT-QA 基准测试中相比基线模型实现了 20.2% 的准确率绝对提升，达到当前最优性能。

ABSTRACT

In the real-world question answering scenarios, hybrid form combining both tabular and textual contents has attracted more and more attention, among which numerical reasoning problem is one of the most typical and challenging problems. Existing methods usually adopt encoder-decoder framework to represent hybrid contents and generate answers. However, it can not capture the rich relationship among numerical value, table schema, and text information on the encoder side. The decoder uses a simple predefined operator classifier which is not flexible enough to handle numerical reasoning processes with diverse expressions. To address these problems, this paper proposes a extbf{Re}lational extbf{G}raph enhanced extbf{H}ybrid table-text extbf{N}umerical reasoning model with extbf{T}ree decoder ( extbf{RegHNT}). It models the numerical question answering over table-text hybrid contents as an expression tree generation task. Moreover, we propose a novel relational graph modeling method, which models alignment between questions, tables, and paragraphs. We validated our model on the publicly available table-text hybrid QA benchmark (TAT-QA). The proposed RegHNT significantly outperform the baseline model and achieve state-of-the-art results. We openly released the source code and data at https://github.com/lfy79001/RegHNT (2022-05-05).

研究动机与目标

• 解决在表格-文本混合问答中数值推理的挑战，现有方法难以捕捉跨模态关系，且在处理复杂算术运算时缺乏灵活性。
• 克服预定义操作符分类器和序列标注框架的局限性，这些方法限制了泛化能力，并在多源推理任务中表现不佳。
• 通过构建包含模态内与模态间关系的异质关系图，联合建模表格、文本与问题，提升模型的泛化能力与准确性。
• 实现算术表达式树的端到端生成，支持任意推导形式，无需依赖槽填充或操作符预测。
• 构建统一框架，有效融合结构化表格与非结构化文本的信息，以应对复杂的数值问答任务。

提出的方法

• 构建一个异质图，包含不同类型的节点（问题、表格单元格、段落词元）与关系类型（模态内关系与模态间关系），以建模问题、表格与文本之间的对齐关系。
• 应用关系感知的自注意力机制，通过捕捉模态内与跨模态依赖关系，学习问题、表格与段落的联合表示。
• 设计基于树的解码器，直接生成表达式树，实现无需预定义操作符槽的灵活且结构化的数值答案推导。
• 将最终表达式转换为前缀表达式，以确保推理路径的无歧义性、正确性与可解释性。
• 采用序列到树的生成目标进行端到端训练，优化算术表达式的精确匹配与 F1 分数。
• 利用关系图引导解码器从表格与文本中选择相关节点，降低对单一数据源的依赖。

实验结果

研究问题

• RQ1 关系图能否有效建模问题、表格与文本之间的对齐关系，从而提升数值推理中的跨模态理解？
• RQ2 基于树的解码器是否在生成混合问答中复杂算术表达式方面优于序列标注或槽填充方法？
• RQ3 与单模态或弱对齐方法相比，联合建模表格与文本在数值推理任务上的性能提升程度如何？
• RQ4 该模型是否能在不依赖预定义操作符分类的情况下，泛化到未见过的算术运算？
• RQ5 对于需要整合来自表格与文本中数值信息的问题，该方法如何应对，尤其在以往模型失败的情况下？

主要发现

• RegHNT 在 TAT-QA 基准测试中相比基线模型实现了 20.2% 的精确匹配（EM）绝对提升。
• 与基线相比，F1 分数提升了 20.0%，表明推理准确率有显著提高。
• 案例研究显示，RegHNT 能够成功生成如 '109.7 / (0.41 × 278.29)' 这类复杂算术表达式，而以往模型因操作符限制无法生成。
• 通过有效整合表格与文本的信息，模型减少了对表格的过度依赖，尤其在答案需同时来自两个来源时表现更优。
• 关系图编码器显著提升了性能，尤其在需要跨源数值推导的问题中，通过建模模态间关系发挥了关键作用。
• 基于树的解码器实现了无需预定义操作符槽的灵活表达式生成，消除了操作符预测模块带来的误差传播。