[论文解读] Natural Language Inference with Mixed Effects

W. Horsley Gantt, Benjamin Kane+1 more|arXiv (Cornell University)|Dec 1, 2020

Topic Modeling参考文献 26被引用 2

一句话总结

本文提出一种混合效应建模方法，直接将原始的多标注者自然语言推理标注整合到神经网络模型中，避免因聚合导致的噪声。通过将标注者特定的随机效应整合到现有神经架构中，该方法在性能上优于忽略标注者差异性的标准模型。

ABSTRACT

There is growing evidence that the prevalence of disagreement in the raw annotations used to construct natural language inference datasets makes the common practice of aggregating those annotations to a single label problematic. We propose a generic method that allows one to skip the aggregation step and train on the raw annotations directly without subjecting the model to unwanted noise that can arise from annotator response biases. We demonstrate that this method, which generalizes the notion of a mixed effects model by incorporating annotator random effects into any existing neural model, improves performance over models that do not incorporate such effects.

研究动机与目标

• 解决NLI数据集中标注不一致的问题，该问题会削弱聚合标签的可靠性。
• 消除标签聚合的需要，因为标签聚合可能引入标注者响应偏差带来的噪声。
• 开发一种通用方法，将标注者随机效应整合到任何现有的神经网络NLI模型中。
• 通过在训练过程中显式建模标注者间差异性，提升模型性能。

提出的方法

• 该方法通过在神经网络架构中引入标注者特定的随机效应，推广了传统的混合效应模型。
• 将每位标注者的标签预测视为随机效应，捕捉个体标注者的倾向与偏差。
• 在原始标注数据上端到端训练模型，保留所有可用的标注数据，无需聚合。
• 该方法与任何神经网络NLI模型兼容，支持标注效应的即插即用式集成。
• 损失函数经过修改，以同时考虑预测标签和标注者特定的共识偏差。

实验结果

研究问题

• RQ1 在神经网络模型中直接建模标注者差异性，是否能相比基于标准聚合的方法提升NLI性能？
• RQ2 在NLI基准上，整合标注者随机效应如何影响模型的鲁棒性与泛化能力？
• RQ3 所提出的方法在多大程度上减轻了原始标注数据中标注者偏差的影响？

主要发现

• 所提出的方法在性能上优于未考虑标注者差异性的模型。
• 通过避免聚合，该方法减少了训练数据中因标注者响应偏差引入的噪声。
• 整合标注者随机效应可使模型在不同标注模式下产生更可靠、更稳定的预测。
• 该方法在不同神经网络架构上均表现出良好的泛化能力，展现出广泛的适用性。