[论文解读] Inter-Annotator Agreement Networks.

Karl Stratos|arXiv (Cornell University)|Apr 20, 2018

Topic Modeling参考文献 37被引用 1

一句话总结

本文提出了一种信息论框架，将标注者间的一致性建模为两个标注者之间的互信息最大化，使用变分近似方法以实现通过随机梯度下降的有效训练。该方法取得了最先进性能，在45标签的Penn WSJ词性标注基准上达到78.7%的准确率，并改进了无监督实体类型识别。

ABSTRACT

This work develops a simple information theoretic framework that captures the dynamic of the inter-annotator agreement process and unifies a wide range of approaches in unsupervised learning. Our model consists of a pair of annotators whose goal is to maximize the mutual information between their annotations. Training the model with standard stochastic gradient descent is challenging, but we find an ablation of the model that admits variational approximation to be empirically effective. We illustrate the strength our framework by achieving new state-of-the-art accuracy on unsupervised part-of-speech tagging, in particular 78.7% on the 45-tag Penn WSJ dataset. We also show clear performance improvement in unsupervised entity typing.

研究动机与目标

• 通过标注者间一致性的动态模型统一多种无监督学习方法。
• 解决使用随机梯度下降训练互信息最大化模型的挑战。
• 提升无监督词性标注和实体类型识别任务的性能。
• 开发一种适用于NLP中复杂概率模型的可扩展且经验有效的近似方法。

提出的方法

• 该模型将标注者间的一致性建模为两个标注者之间的互信息最大化。
• 采用变分近似方法以规避直接优化互信息的困难。
• 尽管互信息不可微，仍使用随机梯度下降训练模型。
• 通过将标注者行为建模为概率推理，将该框架应用于序列标注和分类任务。
• 基于消融的简化方法实现了稳定优化和有效参数学习。
• 在无监督词性标注和实体类型识别任务上评估该方法，展示了稳健的泛化能力。

实验结果

研究问题

• RQ1 标注者之间的互信息最大化能否统一多种无监督学习方法？
• RQ2 如何使互信息优化在NLP的深度学习模型中变得可行？
• RQ3 所提出的框架是否在无监督词性标注任务上优于现有方法？
• RQ4 该模型能否泛化到其他无监督NLP任务（如实体类型识别）？
• RQ5 变分近似对训练稳定性和性能有何影响？

主要发现

• 该框架在45标签的Penn WSJ词性标注数据集上实现了78.7%的新最先进准确率。
• 与先前方法相比，该模型在无监督实体类型识别任务中表现出显著的性能提升。
• 变分近似使得尽管直接优化互信息不可行，仍能实现有效训练。
• 对原始模型的消融分析导致了稳定且经验有效的训练过程。
• 该方法在不同无监督NLP任务间表现出良好泛化能力，持续实现性能提升。