[论文解读] Modeling Relational Information in Question-Answer Pairs with Convolutional Neural Networks

Aliaksei Severyn, Alessandro Moschitti|arXiv (Cornell University)|Apr 5, 2016

Topic Modeling参考文献 24被引用 45

一句话总结

本文提出一种卷积神经网络（CNN）模型，通过在词嵌入中直接注入关系信息（特别是词重叠）来增强问题-答案句子选择。通过端到端联合学习句子表征与关系特征，该模型在WikiQA基准上达到最先进性能，MRR为71.07，MAP为69.51。

ABSTRACT

In this paper, we propose convolutional neural networks for learning an optimal representation of question and answer sentences. Their main aspect is the use of relational information given by the matches between words from the two members of the pair. The matches are encoded as embeddings with additional parameters (dimensions), which are tuned by the network. These allows for better capturing interactions between questions and answers, resulting in a significant boost in accuracy. We test our models on two widely used answer sentence selection benchmarks. The results clearly show the effectiveness of our relational information, which allows our relatively simple network to approach the state of the art.

研究动机与目标

• 通过建模问题与答案之间超越简单词汇匹配的关系信息，提升答案句子选择性能。
• 开发一种深度学习架构，以端到端方式联合学习句子表征与关系特征。
• 用可学习的嵌入式关系特征替代启发式特征工程（如词重叠计数），以实现更好的泛化能力。
• 通过更简单但更具表现力的架构，在答案句子选择基准上实现最先进性能。

提出的方法

• 使用两个并行的卷积神经网络（CNN）将问题和答案编码为密集向量表征。
• 引入额外的嵌入维度以表示问题与答案句子之间的词匹配，这些维度在训练过程中被学习。
• 将中间的句子表征及其相似度分数结合，形成更丰富的联合表征以用于最终评分。
• 采用最终评分函数，整合相似度分数与单独的句子表征，用于重排序。
• 端到端训练整个模型，实现词嵌入、关系特征与分类头的联合优化。
• 仅使用预训练词嵌入作为初始化，但允许进行端到端微调以实现任务特定优化。

实验结果

研究问题

• RQ1 能否通过可学习的嵌入维度有效建模问题与答案句子之间的关系信息？
• RQ2 与事后特征工程相比，直接将词重叠信息注入嵌入表示是否能提升答案句子选择性能？
• RQ3 具有更丰富关系建模能力的更简单CNN架构，是否能优于依赖外部特征的更复杂模型？
• RQ4 中间句子表征与相似度分数的整合如何影响最终排序性能？
• RQ5 关系特征的端到端训练是否能实现在WikiQA等标准基准上的最先进结果？

主要发现

• 所提模型在WikiQA基准上达到最先进性能，MRR为71.07，MAP为69.51。
• 该模型优于ABCNN模型，并在TREC13上超越NASM c（此前在TREC13上优于该模型），证实其在更大数据集上具有强大的泛化能力。
• CNN与CNN R（含关系特征）之间的差异显著，证明了关系建模在提升准确率方面的价值。
• 该模型在TREC13上表现具有竞争力，尽管小样本数据集限制了明确的排名判断，凸显了数据集规模在可靠评估中的重要性。
• 与将CNN输出与外部逻辑回归特征结合的模型相比，使用可学习关系嵌入的端到端训练能获得更优性能。
• 消融实验确认关系特征至关重要，因为移除它们后，MAP从.7654降至.7186，MRR从.8186降至.7828。