[论文解读] Event Extraction with Generative Adversarial Imitation Learning

Tongtao Zhang, Heng Ji|arXiv (Cornell University)|Apr 21, 2018

Reinforcement Learning in Robotics参考文献 28被引用 12

一句话总结

该论文提出了一种用于事件抽取的生成对抗模仿学习（GAIL）框架，利用逆强化学习动态估计基于专家（人工标注）行为的奖励，从而在无需显式特征工程的情况下，提升对模糊和罕见事件的性能。该方法通过在子任务间共享参数并利用生成对抗网络（GAN）实现自适应奖励设计，优于最先进模型。

ABSTRACT

We propose a new method for event extraction (EE) task based on an imitation learning framework, specifically, inverse reinforcement learning (IRL) via generative adversarial network (GAN). The GAN estimates proper rewards according to the difference between the actions committed by the expert (or ground truth) and the agent among complicated states in the environment. EE task benefits from these dynamic rewards because instances and labels yield to various extents of difficulty and the gains are expected to be diverse -- e.g., an ambiguous but correctly detected trigger or argument should receive high gains -- while the traditional RL models usually neglect such differences and pay equal attention on all instances. Moreover, our experiments also demonstrate that the proposed framework outperforms state-of-the-art methods, without explicit feature engineering.

研究动机与目标

• 解决传统强化学习在事件抽取中的局限性，即固定奖励无法反映样本难度和罕见事件的重要性。
• 将事件抽取建模为具有动态、上下文敏感奖励的强化学习问题，以反映正确预测的真实价值。
• 通过模仿专家标注学习最优策略，减少对大量特征工程的依赖。
• 证明在子任务（如触发词检测和论元标注）之间共享参数和嵌入可提升整体性能。

提出的方法

• 该框架将事件抽取建模为强化学习问题，其中智能体（抽取器）根据观察到的状态（句子特征）选择动作（事件类型、论元角色）。
• 采用逆强化学习（IRL）从专家演示（真实标注）中估计奖励函数，实现基于动作和状态差异的动态奖励分配。
• 使用生成对抗网络（GAN）估计奖励函数：生成器（抽取器）模仿专家行为，判别器则区分专家动作与智能体动作。
• 通过优化奖励函数，使智能体行为与专家行为尽可能相似，尤其在困难或模糊案例中表现更优。
• 模型在多个子任务（触发词检测、论元标注）之间使用共享嵌入和参数，以提升泛化能力和性能。
• 训练过程通过估计的奖励进行迭代策略更新，同时通过触发词和论元标注的F1分数监控性能。

实验结果

研究问题

• RQ1 与固定奖励相比，能否通过专家行为推导出的动态奖励函数提升在模糊和罕见事件上的事件抽取性能？
• RQ2 通过基于GAN的逆强化学习进行模仿学习，能否减少事件抽取中对显式语言学特征工程的需求？
• RQ3 在子任务之间共享参数和嵌入如何影响联合事件抽取性能？
• RQ4 所提出的框架能否超越依赖大量特征工程的最先进模型？

主要发现

• 所提出的基于GAIL的框架在触发词和论元标注任务中均优于最先进方法，且无需显式特征工程即可实现更高的F1分数。
• 在联合训练触发词和实体的情况下，论元标注的F1分数达到55.9%，显著高于仅训练触发词的23.3%。
• 采用GAIL生成的动态奖励的模型收敛速度较慢，但最终超越了固定奖励基线，证明了自适应奖励设计的优势。
• 在模糊触发词（如“campaign”）上，正确与错误动作之间的奖励差距随时间增大，表明模型学会了优先预测正确结果。
• 与Li等人（2014）的特征工程基线相比，该框架表现显著更优，差异在95%置信区间内显著。
• 即使在推理阶段不需实体信息，联合训练实体和触发词检测也提升了论元标注性能，证明了联合表征学习的价值。