[论文解读] Few-shot Relation Extraction via Bayesian Meta-learning on Relation Graphs

Meng Qu, Tianyu Gao+2 more|arXiv (Cornell University)|Jul 5, 2020

Topic Modeling参考文献 33被引用 65

一句话总结

本论文提出一个贝叶斯元学习框架，使用全局关系图来建模先验知识，并通过随机梯度朗之万动力学对关系原型进行后验采样，以实现少样本和零样本关系抽取。

ABSTRACT

This paper studies few-shot relation extraction, which aims at predicting the relation for a pair of entities in a sentence by training with a few labeled examples in each relation. To more effectively generalize to new relations, in this paper we study the relationships between different relations and propose to leverage a global relation graph. We propose a novel Bayesian meta-learning approach to effectively learn the posterior distribution of the prototype vectors of relations, where the initial prior of the prototype vectors is parameterized with a graph neural network on the global relation graph. Moreover, to effectively optimize the posterior distribution of the prototype vectors, we propose to use the stochastic gradient Langevin dynamics, which is related to the MAML algorithm but is able to handle the uncertainty of the prototype vectors. The whole framework can be effectively and efficiently optimized in an end-to-end fashion. Experiments on two benchmark datasets prove the effectiveness of our proposed approach against competitive baselines in both the few-shot and zero-shot settings.

研究动机与目标

• 以有限的带标签数据来推动少样本关系抽取。
• 利用全局关系图来捕捉不同关系之间的关系。
• 将原型向量建模为后验分布的随机变量以处理不确定性。
• 使用图神经网络对来自关系图的先验进行参数化，并应用朗之万动力学进行后验采样。
• 在 FewRel 和 NYT-25 的少样本和零样本设置中展示有效性。

提出的方法

• 将每个关系表示为一个原型向量，并将其视为具有后验分布的随机变量。
• 使用来自 Wikidata 嵌入的全局关系图上的图神经网络对先验 p(v_T|G) 进行参数化。
• 使用 E 的句子编码器对原型向量进行 softmax 的似然 p(y_S|x_S, v_T) 的定义。
• 通过带有随机梯度朗之万动力学的蒙特卡洛采样来近似难以计算的后验 p(v_T|x_S,y_S,G)，以获得多个原型样本。
• 使用采样得到的原型来计算 p(y_Q|x_Q, v_T) 以进行查询预测并端到端优化。
• 用一个理论上有背后动机的初始化方案结合基于图的先验和对支持集编码来加速收敛的兰金采样。

实验结果

研究问题

• RQ1 全局关系图是否可以提供可迁移的先验以改进在多样关系上的少样本关系抽取？
• RQ2 在少样本和零样本设置中，带后验原型向量的贝叶斯元学习是否优于点估计的元学习方法？
• RQ3 在任务泛化和零样本能力方面，结合图基先验的影响是什么？
• RQ4 在关系原型的复杂后验中，随机梯度朗之万动力学从中采样的有效性如何？

主要发现

• 在 FewRel 测试集上，REGRAB 取得强劲表现，例如 5-Way 1-Shot：90.30%，5-Way 5-Shot：94.25%。
• 在 NYT-25 测试集上，REGRAB 达到 5-Way 1-Shot：89.76%，5-Way 5-Shot：95.66%，10-Way 1-Shot：84.11%，10-Way 5-Shot：92.48%。
• 消融实验显示去除基于图的先验会降低准确率（FewRel 验证集，5-Way 1-Shot：87.95 对比 85.82；10-Way 1-Shot：80.26 对比 77.70）。
• 零样本在使用全局关系图计算先验时仍然有效，在若干场景中优于非图基基线。