[论文解读] Leveraging Monolingual Data for Crosslingual Compositional Word Representations

Hubert Soyer, Pontus Stenetorp+1 more|arXiv (Cornell University)|Dec 19, 2014

Natural Language Processing Techniques被引用 25

一句话总结

本文提出了一种神经网络架构，通过结合双语句子对齐与一种新颖的单语包含准则，学习组合式的跨语言词表示，该准则利用单语数据中的短语级语义连贯性。该方法在跨语言文档分类任务上取得了最先进性能，达到92.7%的准确率（EN→DE）和84.4%（DE→EN），后者的错误率降低了33.0%，同时在大规模词表和数据集上具有良好的可扩展性。

ABSTRACT

In this work, we present a novel neural network based architecture for inducing compositional crosslingual word representations. Unlike previously proposed methods, our method fulfills the following three criteria; it constrains the word-level representations to be compositional, it is capable of leveraging both bilingual and monolingual data, and it is scalable to large vocabularies and large quantities of data. The key component of our approach is what we refer to as a monolingual inclusion criterion, that exploits the observation that phrases are more closely semantically related to their sub-phrases than to other randomly sampled phrases. We evaluate our method on a well-established crosslingual document classification task and achieve results that are either comparable, or greatly improve upon previous state-of-the-art methods. Concretely, our method reaches a level of 92.7% and 84.4% accuracy for the English to German and German to English sub-tasks respectively. The former advances the state of the art by 0.9% points of accuracy, the latter is an absolute improvement upon the previous state of the art by 7.7% points of accuracy and an improvement of 33.0% in error reduction.

研究动机与目标

• 解决先前方法在使用单语数据时未能强制执行组合式词表示的局限性。
• 克服现有跨语言表示学习方法在可扩展性和词表大小方面的挑战。
• 在不完全依赖双语监督的前提下，有效整合单语数据到跨语言表示学习中。
• 在大规模单语语料上实现高效训练，同时保持在低资源翻译和分类任务上的性能。
• 开发一种对组合函数无感的方法，从而支持对短语语义更复杂的建模。

提出的方法

• 引入一种单语包含准则，促使短语在语义上比随机采样的短语更接近其子短语，从而促进组合结构的形成。
• 使用句子对齐的双语语料和单语语料联合训练模型，结合双语对比学习目标与单语包含目标。
• 采用一种将句子表示为词表示函数的神经网络架构，支持任意组合函数。
• 应用对比学习目标以区分真实的双语句子对与负样本对，同时单语目标确保每种语言内部的语义连贯性。
• 利用通过单语包含准则训练的词表示，提升在双语数据中缺失的词的泛化能力。
• 通过避免使用词袋表示，转而使用分布式的、组合式的嵌入，实现对大规模词表的可扩展性。

实验结果

研究问题

• RQ1 是否有一种方法能够同时强制执行组合式词表示、有效利用单语和双语数据，并在大规模词表上实现可扩展性？
• RQ2 当某些词缺乏双语信号时，单语包含准则在提升跨语言表示质量方面的有效性如何？
• RQ3 在低资源跨语言任务（如文档分类）中，整合单语数据能在多大程度上提升性能？
• RQ4 在跨语言迁移任务中，该方法与先前最先进方法相比，在准确率和错误率降低方面表现如何？
• RQ5 该模型能否对双语平行数据中未出现的词汇实现有意义的泛化？

主要发现

• 该方法在英语到德语的跨语言文档分类子任务上达到92.7%的准确率，相比之前最先进方法提升了0.9个百分点。
• 在德语到英语的子任务中，模型准确率达到84.4%，相比之前最先进方法提升了7.7个百分点，错误率降低了33.0%。
• 仅使用5%的单语数据，DE→EN任务的准确率就提升了3.8个百分点，显示出强大的数据效率。
• 模型成功泛化到双语数据中未出现的词汇，最近邻结果表现出有意义的跨语言语义连贯性（例如，'s&p'与'ratings'和'ratingindustrie'相关联）。
• 即使词表大小与先前工作保持一致，模型仍保持高性能，表明其对词表约束具有鲁棒性。
• 单语包含准则有效塑造了词表示，使得语义相关的词在向量空间中形成有意义的聚类，即使没有直接的双语监督。