[论文解读] A Hierarchical Framework for Relation Extraction with Reinforcement Learning

Ryuichi Takanobu, Tianyang Zhang+2 more|arXiv (Cornell University)|Nov 9, 2018

Topic Modeling参考文献 26被引用 16

一句话总结

本文提出一种用于联合关系抽取的分层强化学习（HRL）框架，将实体视为关系的论元，将任务分解为高层关系检测和低层实体抽取。通过以序列化、策略驱动的子任务建模关系类型与实体提及之间的交互，该方法在重叠关系上实现了最先进性能，在NYT11-plus数据集上的关系检测F1值相比基线提升4.9%。

ABSTRACT

Most existing methods determine relation types only after all the entities have been recognized, thus the interaction between relation types and entity mentions is not fully modeled. This paper presents a novel paradigm to deal with relation extraction by regarding the related entities as the arguments of a relation. We apply a hierarchical reinforcement learning (HRL) framework in this paradigm to enhance the interaction between entity mentions and relation types. The whole extraction process is decomposed into a hierarchy of two-level RL policies for relation detection and entity extraction respectively, so that it is more feasible and natural to deal with overlapping relations. Our model was evaluated on public datasets collected via distant supervision, and results show that it gains better performance than existing methods and is more powerful for extracting overlapping relations.

研究动机与目标

• 解决传统方法仅在完整实体识别后才确定关系类型的局限性，从而未能充分利用实体与关系之间的交互。
• 通过在结构化、序列化的框架中将实体视为关系的论元，改进实体提及与关系类型之间交互的建模。
• 通过任务的分层分解，实现对重叠关系（即一个实体参与多个关系，或同一实体对存在多种关系）的有效抽取。
• 通过将强化学习整合到关系与实体抽取的两级策略结构中，减少错误传播并提升联合学习效果。
• 开发一种更具灵活性和准确性的范式，超越单一关系或非重叠关系设置，尤其在远程监督设置下具有泛化能力。

提出的方法

• 该框架采用两级分层强化学习（HRL）结构：高层策略用于检测关系指示符，低层策略用于抽取作为论元的实体提及。
• 高层强化学习智能体扫描句子，并在检测到关系时，基于编码上下文和依存特征的状态表示触发低层子任务。
• 低层策略通过策略网络执行序列化实体抽取，预测源实体和目标实体的起始与结束跨度，奖励由跨度准确率和与检测到的关系对齐程度决定。
• 通过密集奖励、稀疏奖励和课程学习式奖励设计，引导两个策略向最优联合决策演进。
• 两级策略中的状态表示均融合了基于BERT的上下文嵌入和依存解析特征，以增强上下文感知能力。
• 该框架通过独立且顺序处理每个检测到的关系，支持重叠关系，允许一个实体成为多个三元组的组成部分。

实验结果

研究问题

• RQ1 与自回归或联合标注方法相比，分层强化学习框架是否能更好地建模实体提及与关系类型之间的交互？
• RQ2 所提出的HRL框架在抽取实体参与多个关系的重叠关系方面效果如何？
• RQ3 关系抽取的序列化、子任务分解方法在具有噪声关系的远程监督数据集上是否能提升性能？
• RQ4 高层关系检测与低层实体抽取之间的交互在多大程度上提升了整体F1性能？
• RQ5 该模型是否能泛化到复杂场景（如远程监督），其中常见存在噪声或错误的关系对齐？

主要发现

• 所提出的HRL框架在NYT11-plus数据集上相比最强基线实现了4.9%的绝对F1提升，证明其在重叠关系抽取方面具有卓越性能。
• 在NYT11-plus数据集上，若移除低层实体抽取策略（HRL-Ent），关系检测F1值显著下降，表明两项任务之间存在强依赖关系。
• 该模型在所有基线中关系检测性能最优，在NYT11-plus数据集上F1值提升5.1%，该数据集重叠关系更为普遍。
• 案例研究显示，模型能正确抽取同一实体对的多个关系（例如，Rupert Murdoch同时与News Corporation和公司创始人关系相关），并能处理长距离关系（如Murdoch与Australia之间的关系）。
• 模型成功识别出动态实体角色——例如，Rupert Murdoch在某一关系中为源实体，在另一关系中为目标实体——展示了分层标注机制的灵活性。
• 尽管受到远程监督噪声的影响，模型仍能保持对复杂重叠关系的高精度检测，表明其对弱监督具有鲁棒性。