[论文解读] GraphOTTER: Evolving LLM-based Graph Reasoning for Complex Table Question Answering

Qianlong Li, Chen Huang+4 more|arXiv (Cornell University)|Dec 2, 2024

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

GraphOTTER 提出了一种基于图的推理框架，将复杂表格转换为无向图，并通过显式的、分步的推理操作（如 VisitNode、GetSharedNeighbours 和 AnswerQuestion）引导 LLM 过滤无关信息并精确定位答案。该方法在两个基准数据集上使用两种 LLM 后端时，平均性能较最佳基线提升 4.77%。

ABSTRACT

Complex Table Question Answering involves providing accurate answers to specific questions based on intricate tables that exhibit complex layouts and flexible header locations. Despite considerable progress having been made in the LLM era, the reasoning processes of existing methods are often implicit, feeding the entire table into prompts, making it difficult to effectively filter out irrelevant information in the table. To this end, we propose GraphOTTER that explicitly establishes the reasoning process to pinpoint the correct answers. In particular, GraphOTTER leverages a graph-based representation, transforming the complex table into an undirected graph. It then conducts step-by-step reasoning on the graph, with each step guided by a set of pre-defined intermediate reasoning actions. As such, it constructs a clear reasoning path and effectively identifies the answer to a given question. Comprehensive experiments on two benchmark datasets and two LLM backbones demonstrate the effectiveness of GraphOTTER. Further analysis indicates that its success may be attributed to the ability to efficiently filter out irrelevant information, thereby focusing the reasoning process on the most pertinent data. Our code and experimental datasets are available at \url{https://github.com/JDing0521/GraphOTTER}.

研究动机与目标

• 为解决现有基于 LLM 的复杂表格问答方法中隐式推理的问题，这些方法通常在不过滤无关内容的情况下处理整个表格。
• 通过将包含合并单元格和灵活标题的复杂表格表示为图结构，显式建模推理路径，以提高答案准确性。
• 通过引入结构化、分步的推理操作，减少对完整表格提示的依赖，引导 LLM 聚焦于相关单元格。
• 通过维护动态推理轨迹（记录已访问节点和共享邻居），实现更透明、可追溯且高效的推理过程。
• 通过在基准数据集上的全面评估，证明基于图的推理在复杂表格问答中的有效性。

提出的方法

• 将复杂表格转换为无向图，其中表头和数据单元格作为节点表示，保留语义和空间关系。
• 引入一组预定义的中间推理操作（如 VisitNode、GetSharedNeighbours、AnswerQuestion），引导 LLM 对图结构进行有序导航。
• 维护动态推理轨迹，记录已访问节点和共享邻居，帮助系统避免冗余或无关路径。
• 采用提示工程策略，整合当前表格内容、推理轨迹和交互历史，以指导每一步推理。
• 采用 JSON 模式生成答案，确保输出格式的一致性，包括单元格、操作、解释和最终答案。
• 支持两种 LLM 后端，并在两个基准数据集上进行评估，以确保泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 在复杂表格的图结构表示上进行显式、分步推理，是否能提升表格问答中的答案准确性？
• RQ2 与端到端提示相比，基于图的推理在多大程度上减少了无关表格内容的影响？
• RQ3 推理轨迹机制在引导 LLM 聚焦于相关单元格、同时避免冗余或错误路径方面有多有效？
• RQ4 使用结构化推理操作（如 GetSharedNeighbours）是否在复杂表格问答基准上带来可测量的性能提升？
• RQ5 GraphOTTER 是否能在不同 LLM 后端以及具有合并单元格和非标准标题的复杂表格布局上实现良好泛化？

主要发现

• GraphOTTER 在两个基准数据集上相较最佳基线平均提升 +4.77%，显著改善了复杂表格问答的性能。
• 显式推理过程有效过滤了无关信息，这被识别为模型成功的关键因素。
• 推理轨迹机制成功追踪了已访问节点和共享邻居，支持在图中进行连贯且聚焦的导航。
• 与隐式提示策略相比，结构化推理操作带来了更可靠、更具可解释性的推理路径。
• 该模型在两种不同 LLM 后端上均保持强劲性能，表明其兼容性和鲁棒性。
• 消融实验确认，图表示和显式推理组件对模型性能至关重要，其移除导致准确率显著下降。