[论文解读] Near or Far, Wide Range Zero-Shot Cross-Lingual Dependency Parsing.

Wasi Uddin Ahmad, Zhisong Zhang+4 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques被引用 6

一句话总结

本文研究了在不同语言距离下的跨语言依存句法分析，提出自注意力模型在零样本迁移中优于基于RNN的编码器，因其在建模词序方面具有更高的灵活性。仅在英语上进行训练的自注意力解析器在31种语言上均表现出有效的泛化能力，显示出在语言关系相近和相距较远的语言对中均具有优越的鲁棒性。

ABSTRACT

Cross-lingual transfer is the major means toleverage knowledge from high-resource lan-guages to help low-resource languages. In this paper, we investigate cross-lingual trans-fer across a broad spectrum of language dis-tances. We posit that Recurrent Neural Net-works (RNNs)-based encoders, since explic-itly incorporating surface word order, are brit-tle for transferring across distant languages,while self-attentive models are more flexibleon modeling word order information; thusthey would be more robust in the cross-lingualtransfer setting. We test our hypothesis bytraining dependency parsers on only Englishcorpus and evaluating them on 31 other lan-guages. With detailed analysis, we find inter-esting patterns showing that RNNs-based ar-chitectures can transfer well for languages thatare close to English, while self-attentive mod-els are have better cross-lingual transferabilityacross a wide range of languages.

研究动机与目标

• 评估在从语言关系密切到相距较远的广泛语言距离范围内的跨语言迁移性能。
• 研究基于RNN的编码器是否因依赖固定词序而在跨语言迁移中表现脆弱。
• 评估自注意力模型在多样化语言中的零样本依存句法分析中是否具备更好的泛化能力。
• 比较RNN与自注意力架构在将句法知识从英语迁移至低资源语言时的鲁棒性。

提出的方法

• 仅使用基于RNN和自注意力编码器架构的英语语料库训练依存句法解析器。
• 在31种低资源语言上评估训练好的解析器，以评估零样本迁移性能。
• 利用自注意力机制比RNN更灵活地建模词序信息，后者明确依赖于顺序处理。
• 分析在不同类型语言距离的语言对上的迁移性能，以评估模型鲁棒性。
• 通过详细的定性与定量分析，比较RNN与自注意力模型在跨语言设置下的表现。

实验结果

研究问题

• RQ1 基于RNN的编码器在与英语距离不同的语言中的跨语言依存句法分析性能如何变化？
• RQ2 与基于RNN的模型相比，自注意力模型在跨远距离语言时的泛化能力在多大程度上更优？
• RQ3 RNN中对词序的显式建模是否限制了其向句法结构不同的语言迁移的能力？
• RQ4 自注意力机制是否能通过减少对表面词序的敏感性，提供更鲁棒的跨语言迁移？

主要发现

• 基于RNN的架构在与英语关系密切的语言（如德语或法语）中表现出强大的迁移性能。
• 自注意力模型在广泛的语言距离范围内（包括远距离语言对）展现出更优的跨语言迁移能力。
• 自注意力机制的灵活性使其能更好地处理低资源语言中多变的词序和句法结构。
• 由于依赖顺序处理，RNN在向与英语词序显著不同的语言迁移知识时表现脆弱。
• 自注意力解析器在多种语言类型家族中均保持一致的性能，表明其在零样本设置下具有更高的鲁棒性。