[论文解读] Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering

Ben Bogin, Sanjay Subramanian+2 more|arXiv (Cornell University)|Jul 1, 2020

Topic Modeling参考文献 44被引用 6

一句话总结

本文提出地面潜在树（GLT），一种神经模型，通过自底向上的CKY风格解析过程，在视觉问答任务中诱导潜在的组合结构。通过端到端监督，以分层、组合的方式计算所有问题片段的表示和指称，GLT在Closure数据集上达到96.1%的准确率——比强基线高出24个百分点，显著提升了对分布外组合的系统性泛化能力。

ABSTRACT

Answering questions that involve multi-step reasoning requires decomposing them and using the answers of intermediate steps to reach the final answer. However, state-of-the-art models in grounded question answering often do not explicitly perform decomposition, leading to difficulties in generalization to out-of-distribution examples. In this work, we propose a model that computes a representation and denotation for all question spans in a bottom-up, compositional manner using a CKY-style parser. Our model induces latent trees, driven by end-to-end (the answer) supervision only. We show that this inductive bias towards tree structures dramatically improves systematic generalization to out-of-distribution examples, compared to strong baselines on an arithmetic expressions benchmark as well as on CLOSURE, a dataset that focuses on systematic generalization for grounded question answering. On this challenging dataset, our model reaches an accuracy of 96.1%, significantly higher than prior models that almost perfectly solve the task on a random, in-distribution split.

研究动机与目标

• 解决神经模型在视觉问答任务中对分布外（OOD）组合的系统性泛化失败问题。
• 探究是否通过施加组合性、分层计算的归纳偏置，可提升模型在分布外性能之外的泛化能力。
• 开发一种无需使用黄金结构监督即可学习潜在句法-语义结构的模型。
• 评估所诱导的组合结构是否能同时提升模型性能与人类可解释性。

提出的方法

• 该模型使用CKY风格解析器，从单个词开始，递归计算问题中所有片段的表示和指称（对象集合）。
• 指称通过学习模块自底向上计算，基于片段内容和子片段输出预测对象集合。
• 模型仅使用最终答案的监督进行端到端训练，强制其通过优化发现有意义的潜在树结构。
• 通过解码过程中选择每个节点最可能的分割点和模块，诱导出潜在树结构，实现组合推理。
• 架构通过限制信息流仅限于子片段，避免全局上下文，从而减少对捷径学习的依赖。
• 模型在合成算术表达式和强调组合泛化的Closure数据集上进行评估。

实验结果

研究问题

• RQ1 具有组合计算归纳偏置的神经模型是否能在视觉问答任务中对分布外组合实现更好的泛化？
• RQ2 通过端到端训练诱导潜在句法结构，是否能提升在系统性泛化基准上的性能？
• RQ3 模型生成的中间组合结构在多大程度上支持人类可解释性？
• RQ4 当在需要新颖组合的OOD划分上评估时，该模型的性能与强基线相比如何？
• RQ5 该模型是否能在真实人类提问（如Clevr-Humans）上实现高准确率，同时保持组合归纳偏置？

主要发现

• 在Closure数据集上，GLT模型在组合性OOD划分上达到96.1%的准确率——比强基线高出24个百分点，比使用黄金结构的模型高出19个百分点。
• 在算术表达式基准测试中，GLT在OOD划分上达到98.4%的准确率，而强基线Transformer模型仅获得2.9%的准确率，完全失败。
• 模型正确识别了81.6%–83.1%的预期组成成分，CLEVR和Closure上的指称F1分数分别达到95.9%和94.7%。
• 在前向预测测试中，当参与者看到指称树时，其对模型行为的预测准确率显著提高（Closure上为82.5%），而仅看到问题和答案时准确率仅为58.1%。
• 模型的中间输出具有高度可解释性：在Closure上83.1%的组成成分被正确预测，错误多源于微小的分割误判而非指称错误。
• 该模型在真实人类提问上泛化良好，在Clevr-Humans上达到99.1%的准确率，表明对自然语言变化具有鲁棒性。