[论文解读] FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation

Xu Han, Hao Zhu+5 more|arXiv (Cornell University)|Oct 24, 2018

Topic Modeling参考文献 20被引用 43

一句话总结

本论文介绍 FewRel，一个大规模、人工标注的少样本关系分类数据集，包含 100 个关系和 70k 条语句，并在其上评估多种少样本学习模型，结果显示人类显著优于当前模型。

ABSTRACT

We present a Few-Shot Relation Classification Dataset (FewRel), consisting of 70, 000 sentences on 100 relations derived from Wikipedia and annotated by crowdworkers. The relation of each sentence is first recognized by distant supervision methods, and then filtered by crowdworkers. We adapt the most recent state-of-the-art few-shot learning methods for relation classification and conduct a thorough evaluation of these methods. Empirical results show that even the most competitive few-shot learning models struggle on this task, especially as compared with humans. We also show that a range of different reasoning skills are needed to solve our task. These results indicate that few-shot relation classification remains an open problem and still requires further research. Our detailed analysis points multiple directions for future research. All details and resources about the dataset and baselines are released on http://zhuhao.me/fewrel.

研究动机与目标

• 创建一个大规模、高质量的少样本关系分类数据集，以解决远距监督中的噪声问题。
• 评估现代少样本学习方法在 RC 上以建立基线并识别与人类表现的差距。
• 分析关系表达的多样性并为未来研究提出方向。
• 提供资源和基线以推动 NLP 任务中的少样本学习。

提出的方法

• 通过从维基百科和 Wikidata 进行远距监督候选句子，然后进行人群筛选以提高准确性。
• 将每个关系的候选集合限制为每个实体对只有一个实例，以减少对实体对的记忆。
• 在筛选后，对 100 个关系共抽取 700 个正实例。
• 采用标准的 N-way K-shot 设置，并将多种最先进的少样本方法适配到 RC。
• 用 CNN 或 PCNN 编码器表示句子，并评估像 Finetune 和 kNN 这样的基线，以及元学习和基于图的方法。
• 公开发布数据集和基线，确保可重复性。

实验结果

研究问题

• RQ1 少样本学习方法在在一个大型高质量的 FewRel 数据集上训练时，是否能在 RC 上达到具有竞争力的准确率？
• RQ2 与人类相比，最先进的少样本模型（如原型网络、GNN、SNAIL、元网络）在 RC 上的表现如何？
• RQ3 在 FewRel 中正确分类关系需要哪种类型的推理（基于模式、常识、逻辑、指称/共指）？
• RQ4 在少样本设置下当前 RC 模型的局限性是什么，未来研究可以在哪些方面改进？

主要发现

• FewRel 包含 100 个关系，每个关系 700 个实例，总计 70,000 条实例跨越 100 个关系。
• 最先进的少样本模型在性能上超过了原生的 CNN/PCNN 基线，但在 FewRel 上仍落后于人类表现。
• 具有先进方法的 CNN 基于的少样本模型在 5-way/10-way 设置中获得的准确率高于 Finetune 或 kNN 基线。
• 原型网络及相关方法在若干配置中达到了评价模型中基于 CNN 的最佳结果。
• 人类在准确率上显著高于模型（例如在 5-way 1-shot 下为 92.22%），显示仍有提升空间。