[论文解读] A Question-answering Based Framework for Relation Extraction Validation

Jiayang Cheng, Haiyun Jiang+2 more|arXiv (Cornell University)|Apr 7, 2021

Topic Modeling参考文献 33被引用 7

一句话总结

本文提出一种基于问答（QA）的框架，通过利用QA模型进行尾实体预测，验证并改进关系抽取（RE）结果。该框架通过使用QA置信度对现有关系分类器的预测结果进行重打分，在NYT数据集上对五个强基线模型均实现了稳定的性能提升，且无需额外数据或模型微调。

ABSTRACT

Relation extraction is an important task in knowledge acquisition and text understanding. Existing works mainly focus on improving relation extraction by extracting effective features or designing reasonable model structures. However, few works have focused on how to validate and correct the results generated by the existing relation extraction models. We argue that validation is an important and promising direction to further improve the performance of relation extraction. In this paper, we explore the possibility of using question answering as validation. Specifically, we propose a novel question-answering based framework to validate the results from relation extraction models. Our proposed framework can be easily applied to existing relation classifiers without any additional information. We conduct extensive experiments on the popular NYT dataset to evaluate the proposed framework, and observe consistent improvements over five strong baselines.

研究动机与目标

• 解决现有关系抽取（RE）模型缺乏自检机制的问题，这些模型无法自我纠正错误预测。
• 通过引入结果级验证步骤，检测并修正预训练分类器的错误预测，从而提升RE性能。
• 开发一种即插即用的验证框架，可与任何现有关系分类器集成，无需额外标注或模型微调。
• 探索高效的候选关系选择策略，在保持高验证准确率的同时降低计算成本。

提出的方法

• 从头实体和候选关系构建问题（例如：'谁与比尔·盖茨共同创立了微软？'），以检验尾实体是否能回答该问题。
• 使用预训练的QA模型评分，判断尾实体回答该问题的可能性，得分越高表示关系越合理。
• 通过加权融合（例如：更新得分 = λ × RC_score + QA_score）结合原始关系分类器得分与QA模型得分，以优化预测结果。
• 应用两种候选关系选择策略：基于分类器得分的top-k选择，以及基于置信度的剪枝策略，以限制验证范围，仅针对最不确定或最有希望的候选关系。
• 独立训练关系分类器，随后将基于QA的验证作为后处理步骤，对预测结果进行重打分。
• 使用NYT数据集进行评估，对比该框架在AUC和Precision@N等指标上相对于五个强基线模型的性能表现。

实验结果

研究问题

• RQ1 问答能否有效用于验证关系抽取预测的正确性？
• RQ2 基于QA的验证在AUC和Precision@N指标上如何提升现有关系分类器的性能？
• RQ3 在准确率与效率之间取得平衡时，哪些候选关系选择策略最为有效？
• RQ4 该基于QA的验证框架是否能在不同类型的分类器（如CNN和PCNN模型）上实现良好泛化？

主要发现

• 该基于QA的验证框架在NYT数据集上对五个强基线模型均实现了持续的性能提升，展现出广泛的适用性。
• 该框架显著提升了top-N预测的Precision@N，尤其对PCNN基线模型效果明显，表明其能有效识别高分错误预测。
• 策略II在Precision@N上优于策略I，对正确关系生成了更高的得分；尽管策略I因减少得分偏差而在整体AUC上表现更优。
• 该框架显著提升了正确关系的更新得分（例如：从0.133提升至0.832），同时大幅降低错误关系的得分（例如：从0.222降至0.008），证实其具备纠正误判的能力。
• 该方法作为即插即用的组件，可在不重新训练或增加标注数据的前提下增强现有分类器，凸显其实际部署潜力。