[论文解读] ETH-DS3Lab at SemEval-2018 Task 7: Effectively Combining Recurrent and Convolutional Neural Networks for Relation Classification and Extraction

Jonathan Rotsztejn, Nora Hollenstein+1 more|arXiv (Cornell University)|Apr 5, 2018

Natural Language Processing Techniques参考文献 18被引用 3

一句话总结

该论文提出了一种混合深度学习系统，结合卷积神经网络（CNN）与循环神经网络（RNN），并引入领域特定的词嵌入和大量预处理，以在 SemEval-2018 任务 7 的关系分类与抽取任务中实现最先进性能。集成模型在四个子任务中的三个中排名第一，干净数据上的 F1 得分为 81.7%，噪声数据上的 F1 得分为 90.4%，证明了结合 CNN 与 RNN 架构、采用长度感知融合策略以及基于规则的后处理方法的有效性。

ABSTRACT

Reliably detecting relevant relations between entities in unstructured text is a valuable resource for knowledge extraction, which is why it has awaken significant interest in the field of Natural Language Processing. In this paper, we present a system for relation classification and extraction based on an ensemble of convolutional and recurrent neural networks that ranked first in 3 out of the 4 subtasks at SemEval 2018 Task 7. We provide detailed explanations and grounds for the design choices behind the most relevant features and analyze their importance.

研究动机与目标

• 开发一种在科学文献中具有鲁棒性的神经网络系统，用于关系分类与抽取，其中关系高度专业化且依赖上下文。
• 通过结合卷积与循环架构的优势，提升在干净与噪声数据上的性能。
• 通过引入长度感知加权与句子裁剪策略，解决长序列关系检测的挑战。
• 通过领域特定的词嵌入与数据增强技术，提升模型泛化能力。
• 通过基于规则的后处理确保与标注方案的一致性，以处理对称关系与重叠关系。

提出的方法

• 系统采用两个独立模型的集成：一种是具有多种卷积核大小与最大池化的 1D-CNN，另一种是具有前向与后向编码的双向 LSTM 网络。
• 词嵌入在 9100 万个来自科学 NLP 论文（ArXiv 与 ACL ARC）的词符上进行训练，并针对任务进行微调，最终选择 200 维作为最优维度。
• 句子仅保留实体之间的跨度，并应用最大长度阈值 19 个词，以减少长句中的误报。
• 采用动态、与长度相关的融合策略，使用公式 $ w_{rnn,i} = 0.5 + \text{sign}(s_i) \cdot s_i^2 $ 为 RNN 预测分配更高权重，其中 $ s_i $ 对句子长度进行归一化。
• 通过在多个随机种子上平均模型输出，形成多样化集成，提升泛化能力与鲁棒性。
• 后处理通过拒绝无效的 COMPARE 预测，并通过冲突解决机制（优先处理较短关系，其次按类别频率，最后随机）解决重叠关系。

实验结果

研究问题

• RQ1 与单一模型相比，CNN 与 RNN 架构的结合在科学文本关系分类中的有效性如何？
• RQ2 领域特定的词嵌入与数据预处理在低资源、噪声关系抽取任务中能多大程度上提升性能？
• RQ3 在不发生过拟合的前提下，CNN 与 RNN 预测的长度感知融合策略能否提升长序列上的性能？
• RQ4 数据增强与句子反转在低资源关系分类场景中对模型泛化能力有何影响？
• RQ5 集成学习与后处理在 SemEval-2018 任务 7 中实现最先进结果的过程中起到何种作用？

主要发现

• 集成模型在子任务 1.1（干净数据）中取得 81.7% 的 F1 得分，14 支队伍中排名第一。
• 在子任务 1.2（噪声数据）中，系统取得 90.4% 的 F1 得分，为所有提交结果中的最高分。
• 在联合关系抽取与分类任务（子任务 2.C）中，模型达到 49.3% 的 F1 得分，排名第一。
• 在仅关系抽取任务（子任务 2.E）中排名第二，F1 得分为 48.8%，表明在更具挑战性的抽取任务中也表现出色。
• 特征消融研究显示，数据组合（CSD）、句子反转（RS）与数据生成（GD）各自对性能提升有显著贡献，且与模型类型无关。
• 长度感知融合策略提升了长序列上的性能，证实在此情境下 RNN 比 CNN 更适合处理长距离依赖。