[论文解读] Improving Distant Supervision with Maxpooled Attention and Sentence-Level Supervision.

Iz Beltagy, Kyle Lo+1 more|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 36被引用 4

一句话总结

本文提出了一种多任务学习框架，通过整合句子级监督和一种新颖的池化注意力机制，提升了远程监督在关系抽取中的性能。通过联合学习句子编码与关系表达输入的识别，该方法在FB-NYT数据集上的AUC提升至0.284，相较于先前最先进方法实现了10%的相对提升。

ABSTRACT

We propose an effective multitask learning setup for reducing distant supervision noise by leveraging sentence-level supervision. We show how sentence-level supervision can be used to improve the encoding of individual sentences, and to learn which input sentences are more likely to express the relationship between a pair of entities. We also introduce a novel neural architecture for collecting signals from multiple input sentences, which combines the benefits of attention and maxpooling. The proposed method increases AUC by 10% (from 0.261 to 0.284), and outperforms recently published results on the FB-NYT dataset.

研究动机与目标

• 通过引入句子级标注，减少远程监督在关系抽取中的噪声。
• 通过利用句子级监督，改进句子编码。
• 学习哪些输入句子最能表达实体间的关系。
• 设计一种神经架构，通过注意力和最大池化有效聚合来自多句的信号。
• 在FB-NYT基准数据集上实现最先进性能。

提出的方法

• 该方法采用多任务学习设置，联合优化句子级监督和关系分类。
• 提出一种池化注意力机制，结合多句注意力与最大池化，以提取关键特征。
• 该架构学习评估单个句子在表达特定关系时的重要性。
• 使用句子级标签来监督每个句子的编码，从而提升表示质量。
• 通过在注意力后应用最大池化，模型聚合来自多句的证据，以捕捉最相关的信息。
• 该框架在FB-NYT数据集上端到端训练，同时使用远程监督和句子级标签。

实验结果

研究问题

• RQ1 句子级监督能否提升远程监督中句子表征的质量？
• RQ2 如何结合注意力与最大池化，以更好地聚合来自多句的信号？
• RQ3 引入句子级监督是否能提升关系抽取的性能？
• RQ4 模型能否学习识别最可能表达特定关系的句子？
• RQ5 与先前工作相比，该方法对AUC性能的影响如何？

主要发现

• 所提方法在FB-NYT数据集上的AUC从0.261提升至0.284，实现了10%的相对提升。
• 该模型在FB-NYT基准测试中优于近期发表的结果。
• 句子级监督显著增强了模型编码和选择信息句子的能力。
• 池化注意力机制的整合改善了多输入句子间的信号聚合。
• 多任务学习设置通过利用更细粒度的监督信号，有效减少了远程监督中的噪声。
• 该方法表明，将注意力与最大池化结合，性能优于单独使用任一机制。