[论文解读] Look Again at the Syntax: Relational Graph Convolutional Network for Gendered Ambiguous Pronoun Resolution

Yinchuan Xu, Junlin Yang|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 24被引用 5

一句话总结

该论文提出了一种新颖的端到端共指消解模型，将预训练的 BERT 与门控关系图卷积网络（R-GCN）相结合，以在不微调 BERT 的情况下提升性别指向模糊代词的消解性能。通过将句法依存图作为 R-GCN 的输入，该模型学习到任务特定的、受句法启发的嵌入表示，其性能优于标准 BERT 嵌入，在 GAP 数据集上达到 80.3% 的 F1 分数，较之前最先进方法高出 13.4 个百分点。

ABSTRACT

Gender bias has been found in existing coreference resolvers. In order to eliminate gender bias, a gender-balanced dataset Gendered Ambiguous Pronouns (GAP) has been released and the best baseline model achieves only 66.9% F1. Bidirectional Encoder Representations from Transformers (BERT) has broken several NLP task records and can be used on GAP dataset. However, fine-tune BERT on a specific task is computationally expensive. In this paper, we propose an end-to-end resolver by combining pre-trained BERT with Relational Graph Convolutional Network (R-GCN). R-GCN is used for digesting structural syntactic information and learning better task-specific embeddings. Empirical results demonstrate that, under explicit syntactic supervision and without the need to fine tune BERT, R-GCN's embeddings outperform the original BERT embeddings on the coreference task. Our work significantly improves the snippet-context baseline F1 score on GAP dataset from 66.9% to 80.3%. We participated in the 2019 GAP Coreference Shared Task, and our codes are available online.

研究动机与目标

• 通过利用性别平衡的 GAP 数据集，解决共指消解中的性别偏见问题。
• 在 GAP 数据集上，将片段上下文基线模型的 F1 分数 66.9% 提升至更高水平。
• 开发一种方法，在无需计算成本高昂的微调的情况下，增强 BERT 嵌入表示以用于共指消解。
• 通过关系图卷积将句法结构整合到深度学习模型中，以提升任务特定的表示能力。
• 证明显式的句法监督可显著提升模糊代词消解的性能。

提出的方法

• 使用预训练的 BERT 嵌入作为句法依存图中节点的初始表示。
• 利用依存分析为每个句子构建有向句法依存图。
• 应用门控关系图卷积网络（R-GCN），根据图结构传播并更新节点表示。
• 使用门控机制控制信息流动，减轻多层消息传递中的过平滑问题。
• 在将结果输入多层感知机（MLP）进行最终预测前，将 BERT 嵌入与 R-GCN 输出进行拼接。
• 采用五折交叉验证策略进行端到端训练，以确保性能估计的稳健性。

实验结果

研究问题

• RQ1 关系图卷积网络是否能在不微调 BERT 的情况下，有效增强 BERT 嵌入表示以用于共指消解？
• RQ2 显式的句法监督在多大程度上能提升模糊代词消解的性能？
• RQ3 R-GCN 中的门控机制是否有助于缓解过平滑问题并提升句法图中的表示学习能力？
• RQ4 在 GAP 基准测试中，该模型与强基线模型（包括仅使用 BERT 和基于规则的系统）相比表现如何？
• RQ5 一种避免微调 BERT 的模型是否仍能在共指消解任务中达到最先进性能？

主要发现

• 所提模型在完整 GAP 数据集上达到 80.3% 的 F1 分数，较之前最佳基线的 66.9% 提高了 13.4 个百分点。
• 通过 R-GCN 利用句法结构，该模型在性能上优于仅使用 BERT 的推理（F1 为 78.5%），证明了结构先验的价值。
• 消融实验表明，采用门控 R-GCN 并拼接 BERT 与 R-GCN 输出的设置在第一阶段取得了最佳性能（log-loss 为 0.4936）。
• R-GCN 的使用显著提升了表示学习能力，这在所有消融设置中均表现出一致的性能增益。
• 最终共享任务提交在私有排行榜上取得了 0.394 的 log-loss，证实了该模型的稳健性与有效性。
• 该模型表明，句法信息可被有效整合到预训练上下文嵌入中而无需微调，为全量微调提供了一种计算效率更高的替代方案。