[论文解读] Full-Time Supervision based Bidirectional RNN for Factoid Question Answering

Dong Xu, Wu-Jun Li|arXiv (Cornell University)|Jun 19, 2016

Topic Modeling参考文献 8被引用 5

一句话总结

本文提出了一种基于全时监督的双向RNN（FTS-BRNN）模型，这是一种新型深度学习模型，用于开放域事实型问答任务，其损失计算在每个时间步进行，而非依赖池化操作。通过利用GRU单元并采用端到端训练与全时监督，FTS-BRNN在事实型问答基准测试中实现了SOTA准确率，达到89.8%（InnerP）和93.1%（LR），优于先前方法，包括QA-LSTM和QANTA。

ABSTRACT

Recently, bidirectional recurrent neural network (BRNN) has been widely used for question answering (QA) tasks with promising performance. However, most existing BRNN models extract the information of questions and answers by directly using a pooling operation to generate the representation for loss or similarity calculation. Hence, these existing models don't put supervision (loss or similarity calculation) at every time step, which will lose some useful information. In this paper, we propose a novel BRNN model called full-time supervision based BRNN (FTS-BRNN), which can put supervision at every time step. Experiments on the factoid QA task show that our FTS-BRNN can outperform other baselines to achieve the state-of-the-art accuracy.

研究动机与目标

• 解决现有双向RNN模型在事实型问答任务中仅在池化后应用监督的问题，该方法会丢失时间信息。
• 探究是否在每个时间步应用损失（即全时监督）能够增强表征学习与模型性能。
• 评估在双向RNN用于问答任务的背景下，GRU相较于LSTM的表现。
• 通过端到端可训练架构，实现事实型问答任务的SOTA性能。

提出的方法

• 提出一种全时监督机制，即在双向RNN的每个时间步计算损失，而非仅在池化操作之后。
• 在BRNN中使用门控循环单元（GRUs）作为隐藏单元，以降低复杂度并提升训练效率。
• 引入一个输出层，将前向与后向隐藏状态拼接后投影到共享空间，用于相似度计算。
• 采用两个预测头：一个使用内积，另一个使用逻辑回归（LR）进行答案选择。
• 应用一种新型损失函数（公式2），在所有时间步聚合监督信号，实现序列中梯度的全程反传。
• 对权重矩阵和隐藏状态采用均匀初始化，使用标准的Xavier风格初始化方案。

实验结果

研究问题

• RQ1 在双向RNN中，与基于池化的监督相比，是否在每个时间步应用监督能提升事实型问答的性能？
• RQ2 在全时监督的事实型问答背景下，基于GRU的双向RNN是否能优于基于LSTM的双向RNN？
• RQ3 所提出的FTS-BRNN模型是否具备在标准事实型问答基准上实现SOTA准确率的能力？
• RQ4 输出层的引入如何影响全时监督机制的性能？

主要发现

• 采用全时监督与输出层的FTS-BRNN在内积方法下达到89.8%的准确率，在逻辑回归方法下达到93.1%，优于所有基线模型。
• 消融实验确认全时监督显著提升性能：全时监督的FTS-BRNN-s模型准确率达到89.2%（InnerP）和93.0%（LR），而基于池化的模型仅为77.0%和83.5%。
• 输出层至关重要：移除后性能急剧下降，无输出变体的准确率降至28.7%（InnerP）和85.5%（LR）。
• GRU在FTS-BRNN框架中优于LSTM，分别实现89.8%（InnerP）和93.1%（LR）的准确率，而LSTM模型为86.2%和89.5%。
• 所有基于RNN的模型（包括FTS-BRNN）均优于基于递归神经网络的QANTA模型，后者准确率为63.0%（InnerP）和65.8%（LR）。
• 所提方法在事实型问答任务上实现了SOTA性能，甚至超越了QA-LSTM（准确率为78.7%（InnerP）和86.9%（LR））。