[论文解读] Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction

Paula Czarnowska, Sebastian Ruder+3 more|arXiv (Cornell University)|Sep 6, 2019

Natural Language Processing Techniques参考文献 18被引用 4

一句话总结

本文引入了40份针对10种语言的形态学完整双语词典，用于评估最先进双语词典归纳（BLI）模型的形态学泛化能力。结果表明，现有模型在常见词素的罕见屈折形式上表现严重不足，而通过在训练阶段施加简单的形态学约束，可在相关与无关语言对中显著提升性能，证明更好的形态学编码能增强泛化能力。

ABSTRACT

Human translators routinely have to translate rare inflections of words - due to the Zipfian distribution of words in a language. When translating from Spanish, a good translator would have no problem identifying the proper translation of a statistically rare inflection such as habláramos. Note the lexeme itself, hablar, is relatively common. In this work, we investigate whether state-of-the-art bilingual lexicon inducers are capable of learning this kind of generalization. We introduce 40 morphologically complete dictionaries in 10 languages and evaluate three of the state-of-the-art models on the task of translation of less frequent morphological forms. We demonstrate that the performance of state-of-the-art models drops considerably when evaluated on infrequent morphological inflections and then show that adding a simple morphological constraint at training time improves the performance, proving that the bilingual lexicon inducers can benefit from better encoding of morphology.

研究动机与目标

• 探究最先进双语词典归纳模型是否能像人类翻译者一样泛化到常见词素的罕见形态屈折形式。
• 解决缺乏涵盖完整屈折 paradigm 的综合性评估资源，尤其是针对罕见形式的资源。
• 提出并评估一种新型实验范式，可独立控制词频、形态、词素频率和词素身份四个变量。
• 检验在训练过程中强制施加形态学约束是否能提升对罕见及新形态形式的泛化性能。

提出的方法

• 为5种斯拉夫语和5种罗曼语构建了40份形态学完整词典，涵盖所有包含词素的完整屈折 paradigm。
• 设计了一个受控实验框架，以独立变化四个变量（词形频率、词形语法类别、词素频率和词素身份）的方式评估BLI模型。
• 使用新词典在全部40对语言上评估了三种领先BLI模型——Artetxe等（2017）、Ruder等（2018）及其他模型。
• 引入一种硬性形态学约束，限制训练期间的词对齐仅限于共享相同词形语法类别的词对（例如，第三人称复数过去时）。
• 仅使用UniMorph标注形式训练模型，确保仅在语义和语法兼容的形式之间进行对齐。
• 比较标准BLI任务与控制词素的BLI任务中的性能表现，按词形语法类别和频率层级测量准确率。

实验结果

研究问题

• RQ1 最先进双语词典归纳模型能否像人类翻译者一样泛化到常见词素的罕见形态屈折形式？
• RQ2 在受控评估环境中，模型性能如何随不同词形语法类别和词频变化？
• RQ3 在训练过程中强制施加简单形态学约束是否能提升对罕见和新屈折形式的泛化性能？
• RQ4 在遗传上相关与无关的语言对之间，形态学泛化性能有何差异？
• RQ5 现有评估基准在多大程度上因偏向高频形式而无法真实反映BLI模型的泛化能力？

主要发现

• 最先进BLI模型在罕见形态屈折形式上的表现显著下降，即使针对常见词素也是如此，表明其对语言形式长尾的泛化能力极差。
• 模型在高频词形语法类别（如第三人称单数现在时）上泛化良好，但在低频类别上表现不佳，尤其是具有大 paradigm 的类别。
• 形态学约束（即训练期间仅对齐同类别形式）在所有罗曼语对及许多斯拉夫语对中均带来一致的性能提升。
• 在波兰语-西班牙语对（无关语言）中，整体性能较低（词汇内词对准确率为28%），但形态学约束仍显著改善了结果，证明其鲁棒性。
• MUSE基准因聚焦高频形式，偏向高频词汇，严重低估了罕见屈折形式，限制了其评估真实泛化能力的能力。
• 本研究揭示了一种细致的失败模式：即使词素常见，模型在罕见词形语法类别和大 paradigm 上仍表现最差。