[论文解读] A Generate-Validate Approach to Answering Questions about Qualitative Relationships

Arindam Mitra, Chitta Baral+2 more|arXiv (Cornell University)|Aug 9, 2019

Topic Modeling参考文献 16被引用 5

一句话总结

本文提出了一种用于回答关于定性关系问题的生成-验证框架，用自然语言生成与验证替代传统的语义解析。通过生成逻辑形式的自然语言解释并将其与输入文本进行验证，该方法在QUAREL基准上实现了7.93%的性能提升（从68.7%提高到76.63%），通过BERT和SNLI的微调展示了更优的迁移学习能力和鲁棒性。

ABSTRACT

Qualitative relationships describe how increasing or decreasing one property (e.g. altitude) affects another (e.g. temperature). They are an important aspect of natural language question answering and are crucial for building chatbots or voice agents where one may enquire about qualitative relationships. Recently a dataset about question answering involving qualitative relationships has been proposed, and a few approaches to answer such questions have been explored, in the heart of which lies a semantic parser that converts the natural language input to a suitable logical form. A problem with existing semantic parsers is that they try to directly convert the input sentences to a logical form. Since the output language varies with each application, it forces the semantic parser to learn almost everything from scratch. In this paper, we show that instead of using a semantic parser to produce the logical form, if we apply the generate-validate framework i.e. generate a natural language description of the logical form and validate if the natural language description is followed from the input text, we get a better scope for transfer learning and our method outperforms the state-of-the-art by a large margin of 7.93%.

研究动机与目标

• 为解决传统语义解析器在将自然语言映射到定性推理任务的逻辑形式时的局限性。
• 通过解耦生成与验证，提升在定性关系问答任务中的迁移学习与模型泛化能力。
• 开发一种框架，避免从零开始学习特定应用的逻辑形式，从而减少对任务特定监督的依赖。
• 通过整合预训练模型（BERT、ESIM）和外部数据集（SNLI），提升在QUAREL数据集上的性能，实现更好的泛化能力。
• 探究自然语言生成与验证是否能在定性推理中超越端到端的语义解析。

提出的方法

• 该方法生成逻辑形式的自然语言描述（例如：'摩擦在地毯上更高'），而非直接映射到符号逻辑。
• 利用文本蕴涵模型将生成的描述与输入文本进行对比，以评估生成的命题是否被给定语境所蕴含。
• 该框架使用两个文本蕴涵模型：一个用于'给定'事实（语境），另一个用于'命题'选项（答案选择）。
• 模型采用BERT和ESIM作为文本蕴涵编码器，并在QUAREL和SNLI数据集上进行微调，以提升泛化能力。
• 采用两阶段流程：首先，将可能的逻辑形式生成为自然语言；其次，使用文本蕴涵分类器验证每个候选命题。
• 性能最佳的配置为：'给定'编码器使用在QUAREL+SNLI上微调的BERT，'命题'编码器使用仅在QUAREL上微调的ESIM。

实验结果

研究问题

• RQ1 生成-验证框架是否能在定性推理任务中超越传统语义解析？
• RQ2 解耦生成与验证是否能提升问答任务中的迁移学习与模型泛化能力？
• RQ3 当在监督数据有限的定性推理数据集上微调时，预训练模型如BERT和ESIM的表现如何？
• RQ4 为何在将QUAREL与SNLI数据结合用于训练命题评分模型时性能下降，尽管在其他设置中能提升泛化能力？
• RQ5 模型的主要失败模式是什么？是否可通过改进'给定'得分组件来缓解？

主要发现

• 所提出的生成-验证框架在QUAREL测试集上达到76.63%的准确率，相比之前的SOTA（68.7%）实现了7.93%的绝对提升。
• 最佳模型配置为：'给定'得分组件使用在QUAREL和SNLI上微调的BERT，'命题'得分组件使用仅在QUAREL上微调的ESIM。
• 尽管整体性能有所提升，但当使用SNLI训练命题编码器时性能下降，可能是因为SNLI的前提与QUAREL的命题选项在分布上存在差异。
• 当仅在QUAREL数据上训练时，ESIM模型在命题评分任务中始终优于BERT模型，表明其与任务的语言风格更具匹配性。
• 主要失败模式源于对'给定'事实的错误评分，如两个错误案例所示，模型错误判断了哪个命题被语境所蕴含。
• 结果表明，改进'给定'得分组件有望带来进一步性能提升，因为命题生成与验证步骤本身已具有很高的准确性。