[论文解读] Cross Temporal Recurrent Networks for Ranking Question Answer Pairs

Yi Tay, Luu Anh Tuan+1 more|arXiv (Cornell University)|Nov 21, 2017

Topic Modeling参考文献 19被引用 9

一句话总结

本文提出跨时序循环网络（CTRN），一种新颖的神经网络架构，通过联合学习问题-答案对的时间门控机制，提升问答任务中的序列表征学习效果。通过使用一维卷积层学习门控并跨问题与答案序列交叉应用，CTRN 实现了成对的时间门控，其在两个社区型问答数据集上达到最先进性能，在事实型问答数据集上也取得具有竞争力的结果，且相比LSTM具有显著的速度优势。

ABSTRACT

Temporal gates play a significant role in modern recurrent-based neural encoders, enabling fine-grained control over recursive compositional operations over time. In recurrent models such as the long short-term memory (LSTM), temporal gates control the amount of information retained or discarded over time, not only playing an important role in influencing the learned representations but also serving as a protection against vanishing gradients. This paper explores the idea of learning temporal gates for sequence pairs (question and answer), jointly influencing the learned representations in a pairwise manner. In our approach, temporal gates are learned via 1D convolutional layers and then subsequently cross applied across question and answer for joint learning. Empirically, we show that this conceptually simple sharing of temporal gates can lead to competitive performance across multiple benchmarks. Intuitively, what our network achieves can be interpreted as learning representations of question and answer pairs that are aware of what each other is remembering or forgetting, i.e., pairwise temporal gating. Via extensive experiments, we show that our proposed model achieves state-of-the-art performance on two community-based QA datasets and competitive performance on one factoid-based QA dataset.

研究动机与目标

• 为解决神经网络问答模型中问题与答案独立编码的局限性，该局限性无法捕捉语义构成中的相互依赖关系。
• 通过在两个序列中实现对记忆保留与遗忘的联合控制，提升问答任务中的相关性评分。
• 探究是否通过在问答对之间联合学习时间门控，能够提升表征质量，超越标准注意力机制或拼接方法。
• 开发一种可扩展且高效的架构，在不增加参数量的前提下保持高性能。

提出的方法

• CTRN模型通过引入轻量级时序交叉（LTC）机制，扩展了准循环神经网络（QRNN），该机制在问题与答案序列之间共享并交叉应用时间门控。
• 时间门控通过一维卷积层学习，并应用于两个序列，使每个序列能够影响另一个序列的记忆构成性。
• 该架构在保持QRNN计算效率的同时，在门控层级引入了成对交互，使表征能够感知对方正在记忆或遗忘的内容。
• 模型采用共享门控机制，基于跨序列上下文动态调制隐藏状态，增强语义对齐。
• 最终表征通过门控的序列组合形成，最终得分通过在连接后的最终隐藏状态上使用全连接层计算得出。
• 通过在两个序列间复用相同的门控参数，该方法避免了额外的参数开销，确保了高效性。

实验结果

研究问题

• RQ1 在问题与答案序列之间联合学习时间门控是否能提升问答排序任务的表征质量？
• RQ2 成对时间门控是否能更好地捕捉细微的语义依赖关系，例如涉及否定或对比的语义（如“初学者”与“高级研究”）？
• RQ3 在多样化的问答基准上，所提出的CTRN模型在性能与效率方面与LSTM、QRNN及基于CNN的模型等强基线相比如何？
• RQ4 LTC机制是否具有正则化效果，从而提升泛化能力，尤其是在小规模数据集上？

主要发现

• CTRN在两个社区型问答数据集上达到最先进性能，优于包括HD-LSTM和MP-CNN在内的强基线模型。
• 在TrecQA数据集上，CTRN在TRAIN-ALL设置下取得MAP为0.7712、MRR为0.8384的成绩，MRR相比之前最佳模型（He和Lin，2016）提升1.5%。
• 在Yahoo QA数据集上，CTRN相比基线QRNN将P@1提升2.5%，同时保持相近的MRR，表明其在Top-1排序上表现更强。
• CTRN的推理速度约为原始LSTM的4倍，AP-BiLSTM的8倍，且每轮训练仅比QRNN多约10秒。
• LTC机制具有正则化效果，使CTRN在小规模数据集上泛化能力优异，而QRNN则出现过拟合。
• 在QatarLiving数据集上，CTRN优于复杂AI-CNN模型，取得P@1为0.788、MAP为0.794的成绩，在表5中以粗体标示最佳结果。