[论文解读] Ensemble Neural Relation Extraction with Adaptive Boosting

Dongdong Yang, Senzhang Wang+1 more|arXiv (Cornell University)|Jan 29, 2018

Topic Modeling参考文献 12被引用 6

一句话总结

该论文提出Ada-LSTMs，一种集成神经关系抽取模型，结合双向LSTM与注意力机制及自适应提升方法，以提高模型的鲁棒性和准确性。通过在训练过程中重新加权分类错误的样本，并利用多个LSTM，该模型在真实世界数据集上的F1得分比当前最先进方法高出8%。

ABSTRACT

Relation extraction has been widely studied to extract new relational facts from open corpus. Previous relation extraction methods are faced with the problem of wrong labels and noisy data, which substantially decrease the performance of the model. In this paper, we propose an ensemble neural network model - Adaptive Boosting LSTMs with Attention, to more effectively perform relation extraction. Specifically, our model first employs the recursive neural network LSTMs to embed each sentence. Then we import attention into LSTMs by considering that the words in a sentence do not contribute equally to the semantic meaning of the sentence. Next via adaptive boosting, we build strategically several such neural classifiers. By ensembling multiple such LSTM classifiers with adaptive boosting, we could build a more effective and robust joint ensemble neural networks based relation extractor. Experiment results on real dataset demonstrate the superior performance of the proposed model, improving F1-score by about 8% compared to the state-of-the-art models.

研究动机与目标

• 解决监督关系抽取中噪声数据、类别不平衡及标注错误数据的挑战。
• 通过将注意力机制与深度神经网络结合，提升模型的鲁棒性和性能。
• 利用自适应提升动态调整训练过程中困难样本的权重，以实现更好的泛化能力。
• 构建一种联合集成框架，结合多个LSTM以提升预测准确率与稳定性。

提出的方法

• 采用双向堆叠LSTM以捕捉句子的正向与反向语义。
• 集成注意力机制，根据词语与关系的相关性动态分配其重要性权重。
• 构建多个具有相同架构但不同初始化的独立LSTM分类器。
• 应用自适应提升方法，在迭代过程中重新加权训练样本，使反向传播更关注分类错误的实例。
• 集成多个经提升的分类器的预测结果，生成最终更鲁棒的关系预测。
• 使用L2正则化与初始学习率调优以稳定训练过程，防止过拟合。

实验结果

研究问题

• RQ1 在存在噪声和类别不平衡数据的情况下，自适应提升能否提升神经关系抽取模型的鲁棒性与准确性？
• RQ2 将注意力机制与LSTM结合，如何增强句子语义表征以提升关系抽取性能？
• RQ3 与单模型及非提升的集成方法相比，采用自适应提升的集成学习在关系抽取中能多大程度上实现性能超越？
• RQ4 Ada-LSTMs集成模型中，最优的分类器数量是多少，以在性能与计算成本之间取得平衡？

主要发现

• Ada-LSTMs模型的F1得分为0.54，相比最先进模型Rank+ExATT提升了8%。
• Ada-LSTMs的精确率-召回率曲线比基线模型更平滑、更稳定，尤其在低召回率水平下，表明其具有更强的鲁棒性。
• 在精确率@N方面表现显著提升，P@100、P@200与P@300的平均提升达11.6%。
• 当分类器数量增加至10个时性能达到峰值，之后增益趋于平缓，表明10–20个模型后收益递减。
• 将自适应提升与基于注意力的LSTM结合，可实现更优的梯度下降优化，并更好地处理难分类样本。
• 该模型展现出强大的泛化能力，在召回率提升时仍能保持高精确率，而其他模型则迅速下降。