[论文解读] Cross-lingual Pseudo-Projected Expectation Regularization for Weakly Supervised Learning

Mengqiu Wang, Christopher D. Manning|arXiv (Cornell University)|Oct 6, 2013

Natural Language Processing Techniques参考文献 36被引用 10

一句话总结

本文提出跨语言伪投影期望正则化（CLiPPER），一种弱监督方法，通过在双语平行语料中迁移模型期望（而非标签），以提升低资源语言的序列标注性能。通过在广义期望（Generalized Expectation）框架中将投影的期望编码为约束，CLiPPER 在无任何标注数据的情况下，实现了中文 NER 64% 的 F1 分数和德语 NER 60% 的 F1 分数，优于使用数千个标注样本训练的监督 CRF 模型。

ABSTRACT

We consider a multilingual weakly supervised learning scenario where knowledge from annotated corpora in a resource-rich language is transferred via bitext to guide the learning in other languages. Past approaches project labels across bitext and use them as features or gold labels for training. We propose a new method that projects model expectations rather than labels, which facilities transfer of model uncertainty across language boundaries. We encode expectations as constraints and train a discriminative CRF model using Generalized Expectation Criteria (Mann and McCallum, 2010). Evaluated on standard Chinese-English and German-English NER datasets, our method demonstrates F1 scores of 64% and 60% when no labeled data is used. Attaining the same accuracy with supervised CRFs requires 12k and 1.5k labeled sentences. Furthermore, when combined with labeled examples, our method yields significant improvements over state-of-the-art supervised methods, achieving best reported numbers to date on Chinese OntoNotes and German CoNLL-03 datasets.

研究动机与目标

• 解决多语言设置下低资源命名实体识别（NER）中标注数据稀缺的挑战。
• 利用双语平行语料，从资源丰富的语言（如英语）向低资源语言（如中文、德语）提升迁移学习效果。
• 克服标签投影方法将标签视为硬约束所导致的局限性，这些方法无法捕捉模型的不确定性。
• 开发一种方法，实现跨语言边界对软性、概率性期望的迁移，以指导判别模型的训练。

提出的方法

• 在双语平行语料中迁移模型期望（而非标签），以传递不确定性与置信度信息。
• 利用广义期望（Generalized Expectation, GE）准则框架，将投影的期望编码为软约束，以最小化模型期望与目标期望之间的差异。
• 通过在单一优化步骤中联合优化监督与半监督目标，训练判别性条件随机场（CRF）模型。
• 采用软投影策略（CLiPPER s），通过对多个对齐词对的期望进行平均，相比硬投影（CLiPPER h）更具鲁棒性。
• 利用自动词对齐技术，将源语言预测映射到目标语言的词元，实现在无需显式标签投影的情况下实现期望迁移。
• 将未标注的平行语料直接整合进训练目标，避免了“先投影后训练”的独立流程。

实验结果

研究问题

• RQ1 能否在无标注数据的情况下，通过双语平行语料有效投影模型期望，以提升低资源 NER 性能？
• RQ2 与硬标签投影相比，软期望投影在性能与鲁棒性方面表现如何？
• RQ3 基于期望的约束是否能优于传统的标签投影或基于特征的约束，在弱监督 NER 中表现更优？
• RQ4 期望迁移在多大程度上可减少多语言 NLP 中大规模人工标注的需求？
• RQ5 与多阶段流水线相比，将期望正则化整合进联合训练目标是否能提升效率与性能？

主要发现

• CLiPPER s 在中文 OntoNotes 和德语 CoNLL-03 NER 任务上，使用零个标注样本，分别实现了 64% 和 60% 的 F1 分数，优于分别在 1.2 万个和 1500 个标注句子上训练的监督 CRF 模型。
• 该方法在中文和德语数据集上均显著优于所有基线模型，包括 CWD13 和 BPBK10 等最先进方法，且差异具有统计显著性。
• 软期望投影（CLiPPER s）始终优于硬投影（CLiPPER h），证明了在迁移过程中保留不确定性的优势。
• 由于采用联合优化，CLiPPER 显著缩短了训练时间——中文仅需 1 小时 40 分钟，德语仅需 18 分 51 秒，而最慢的基线方法（CWD13）分别耗时 16 小时 42 分钟和 4 小时 49 分钟。
• 错误分析表明，通过利用源语言中的上下文线索，期望迁移有助于解决歧义实体（如将 'Gao Gang' 正确定义为人物而非地点）。
• 该方法在低资源设置下泛化能力出色，即使在仅结合少量标注数据时仍保持强劲性能，在两个基准数据集上均取得了目前报告的最佳结果。