[论文解读] Learning when to trust distant supervision: An application to low-resource POS tagging using cross-lingual projection

Meng Fang, Trevor Cohn|arXiv (Cornell University)|Jul 5, 2016

Natural Language Processing Techniques参考文献 24被引用 6

一句话总结

该论文提出了一种新颖的神经序列标注模型，通过引入去偏置层以纠正投影错误，联合学习少量高质量的词性标注（POS）标签和噪声较大的跨语言投影标签。通过在双向LSTM框架内整合可学习的投影标签与真实标签之间的变换，该模型在八个模拟低资源语言和两种真实低资源语言（马达加斯加语，准确率86.7%；卢旺达语，准确率82.6%）上实现了最先进性能，优于现有方法。

ABSTRACT

Cross lingual projection of linguistic annotation suffers from many sources of bias and noise, leading to unreliable annotations that cannot be used directly. In this paper, we introduce a novel approach to sequence tagging that learns to correct the errors from cross-lingual projection using an explicit debiasing layer. This is framed as joint learning over two corpora, one tagged with gold standard and the other with projected tags. We evaluated with only 1,000 tokens tagged with gold standard tags, along with more plentiful parallel data. Our system equals or exceeds the state-of-the-art on eight simulated low-resource settings, as well as two real low-resource languages, Malagasy and Kinyarwanda.

研究动机与目标

• 解决在缺乏真实标注数据但拥有平行双语语料库的低资源POS标注挑战。
• 提升跨语言POS投影的可靠性，该方法易受不良词对齐和句法差异的影响。
• 通过统一的深度学习框架，联合训练真实标准标注和投影标签，显式建模两者之间的映射关系。
• 开发一种方法，学习在何时以及在多大程度上信任投影标签，从而减少远距离监督中噪声和偏差的影响。
• 在模拟低资源语言和真实低资源语言（如马达加斯加语和卢旺达语）上验证该方法的有效性。

提出的方法

• 该模型使用双向长短期记忆网络（BiLSTM）对输入序列进行编码，并生成两个输出：真实标准标签和投影标签。
• 引入一个可学习的变换层（即去偏置层），以建模从高资源语言的投影标签到低资源目标语言真实标签的映射关系。
• 去偏置层通过反向传播进行端到端训练，使模型能够根据可靠性学习何时信任或忽略投影标签。
• 模型在真实标注数据和投影数据上进行联合训练，从而在利用大规模噪声数据的同时，由小规模真实数据集进行校正。
• 去偏置层中的变换矩阵A捕捉了标签集之间的学习映射关系，对角线元素表示对投影标签的信任程度，非对角线元素表示校正或重新分配。
• 该方法通过模拟低资源设置和真实低资源语言（包括马达加斯加语和卢旺达语）进行评估，并通过消融研究验证去偏置层的贡献。

实验结果

研究问题

• RQ1 当在少量真实标注数据和大规模投影数据上联合训练时，神经模型能否有效学习纠正跨语言POS投影中的错误？
• RQ2 与简单融合真实数据和投影数据的方法相比，引入可学习的去偏置层在多大程度上提升了POS标注性能？
• RQ3 该模型在语言差异程度各异的多样化低资源语言上，其泛化能力如何？
• RQ4 所学习的变换矩阵在多大程度上反映了投影标签的可靠性以及源语言和目标语言之间的结构差异？
• RQ5 在模拟和真实低资源POS标注场景中，该模型是否优于现有最先进方法？

主要发现

• 所提出的BiLSTM去偏置模型在马达加斯加语上达到86.7%的准确率，在卢旺达语上达到82.6%，优于先前工作报道的最先进结果。
• 该模型在八个模拟低资源语言上始终优于或匹配现有方法，表明去偏置机制带来了稳定提升。
• 所学习的变换矩阵显示出强烈的对角线元素，表明大多数投影标签被信任，但非对角线权重也显著，揭示了系统性校正，例如在无冠词的语言中将限定词映射为名词。
• 当平行数据丰富时，去偏置层带来的性能增益最为显著，如在马达加斯加语上的提升高于卢旺达语（后者平行数据较少）。
• 使用原始宾州树库标签集而非通用标签集可带来微小但一致的性能提升，表明通过保留更丰富的标签区分度，可减轻标签集映射中的信息损失。
• 仅对投影数据进行端到端训练会导致性能下降（马达加斯加语准确率为67.2%），凸显了去偏置机制在纠正噪声而非简单组合数据源中的必要性。