[论文解读] Can Taxonomy Help? Improving Semantic Question Matching using Question Taxonomy

Deepak Gupta, Rajkumar Pujari+5 more|arXiv (Cornell University)|Jan 20, 2021

Topic Modeling参考文献 33被引用 11

一句话总结

本文提出了一种混合深度学习与基于分类法的框架，用于语义问题匹配，通过结合两层问题分类法（粗粒度和细粒度类别）与基于注意力的神经编码器，提升语义相似度检测效果。通过融合深度学习的分布特征与分类法的结构化知识，该模型在POQR基准上达到最先进性能，相较于先前工作提升2.1%。

ABSTRACT

In this paper, we propose a hybrid technique for semantic question matching. It uses our proposed two-layered taxonomy for English questions by augmenting state-of-the-art deep learning models with question classes obtained from a deep learning based question classifier. Experiments performed on three open-domain datasets demonstrate the effectiveness of our proposed approach. We achieve state-of-the-art results on partial ordering question ranking (POQR) benchmark dataset. Our empirical analysis shows that coupling standard distributional features (provided by the question encoder) with knowledge from taxonomy is more effective than either deep learning (DL) or taxonomy-based knowledge alone.

研究动机与目标

• 为解决开放域问答中词汇相似度常无法捕捉真正语义等价性的问题，提升语义问题匹配性能。
• 通过引入基于问题分类法的结构化语言知识，在低资源或受限领域设置下提升性能。
• 开发一种混合模型，整合深度学习表征与基于分类法的特征，以提升语义相似度检测效果。
• 构建并发布两个标注数据集：一个用于语义相似问题，另一个用于问题分类。
• 通过实证验证，结合分类法特征与深度学习优于单独使用任一方法。

提出的方法

• 作者基于答案类型和问题功能设计了两层问题分类法（粗粒度与细粒度类别），将具有相似答案的问题归为一类。
• 训练基于深度学习的问题分类器，为每个问题分配其对应的粗粒度与细粒度分类类别。
• 使用依存句法分析器识别问题的核心关注点（如被询问的核心内容），并将此作为特征整合。
• 框架将基于注意力的神经编码器生成的问题嵌入向量，与分类法特征（粗粒度类别、细粒度类别及关注点）相结合，计算语义相似度得分。
• 最终相似度得分通过深度学习表征与基于分类法的特征的加权组合计算，实现对语义相似问题的更优排序。
• 模型在三个开放域数据集上进行评估：POQR、Quora以及两个新发布的语义相似性与分类数据集。

实验结果

研究问题

• RQ1 两层问题分类法是否能超越仅使用深度学习模型的语义问题匹配性能？
• RQ2 将分类法特征（粗粒度类别、细粒度类别及关注点）与深度学习表征结合，在提升语义相似度检测方面有多有效？
• RQ3 所提出的混合模型是否在POQR和Quora等基准数据集上优于最先进方法？
• RQ4 分类法特征在多大程度上缓解了高词汇相似度但低语义相似度的问题（如‘how’与‘what’问题）？
• RQ5 注意力机制与特征消融对模型在不同数据集上的性能影响如何？

主要发现

• 所提模型在POQR基准上达到最先进性能，简单数据集上较先前工作提升2.1%，复杂数据集上提升1.46%。
• 特征消融研究显示，粗粒度与细粒度类别特征均显著提升性能，尤其在Quora数据集上，问题词差异（如‘how’与‘what’）尤为关键。
• 将分类法特征与深度学习表征结合，性能优于单独使用任一方法，表明二者具有互补优势。
• 注意力机制可视化显示，模型关注语义相关词汇，但其影响在Quora数据集上较弱，因词汇重叠度高且语义差异细微。
• 错误分析识别出细粒度类别误分类与语义不同但词汇高度相似的问题为主要失败模式，尤其在多句问题或关注点模糊时更为明显。
• 模型在多样化数据集上表现稳健，引入分类法特征后性能有统计显著提升（p < 0.002）