[论文解读] An Autoencoder Approach to Learning Bilingual Word Representations

Sarath Chandar A P, Stanislas Lauly+5 more|arXiv (Cornell University)|Feb 6, 2014

Topic Modeling参考文献 28被引用 252

一句话总结

该论文提出了一种双语自编码器模型，该模型在无需词级对齐的情况下，仅使用句子级对齐的平行语料库，即可学习跨语言的对齐词表示。通过在袋装词表示上进行重建，并引入最大化相关性的正则化项，该方法在跨语言文本分类任务中取得了最先进性能，在仅使用1,000个标注样本的EN→DE任务中，性能相比之前方法最高提升14个百分点。

ABSTRACT

Cross-language learning allows us to use training data from one language to build models for a different language. Many approaches to bilingual learning require that we have word-level alignment of sentences from parallel corpora. In this work we explore the use of autoencoder-based methods for cross-language learning of vectorial word representations that are aligned between two languages, while not relying on word-level alignments. We show that by simply learning to reconstruct the bag-of-words representations of aligned sentences, within and between languages, we can in fact learn high-quality representations and do without word alignments. Since training autoencoders on word observations presents certain computational issues, we propose and compare different variations adapted to this setting. We also propose an explicit correlation maximizing regularizer that leads to significant improvement in the performance. We empirically investigate the success of our approach on the problem of cross-language test classification, where a classifier trained on a given language (e.g., English) must learn to generalize to a different language (e.g., German). These experiments demonstrate that our approaches are competitive with the state-of-the-art, achieving up to 10-14 percentage point improvements over the best reported results on this task.

研究动机与目标

• 开发一种不依赖于平行语料库中词级对齐的双语词表示学习方法。
• 通过实现从资源丰富语言到资源匮乏语言的迁移学习，应对低资源语言NLP的挑战。
• 仅使用句子级对齐的平行数据，提升文本分类中的跨语言迁移性能。
• 证明可通过仅使用最小监督的袋装词输入自动编码，学习到有意义的双语表示。

提出的方法

• 该模型使用深度自编码器，对来自两种语言的平行语料库中句子对的袋装词表示进行重建。
• 编码器为两种语言学习一个共享的D维潜在表示，从而实现跨语言对齐。
• 引入一种新颖的相关性最大化正则化项，在训练过程中显式对齐跨语言的词嵌入。
• 模型在句子对的小批量数据上进行训练，每个句子以词频直方图表示。
• 探索了两种变体：BAE-tr（在单个句子上进行训练）和BAE-cr（在合并的句子小批量上进行训练），并分别在有无相关性正则化的情况下进行实验。
• 该方法避免依赖机器翻译系统或词级对齐工具，从而简化了流程。

实验结果

研究问题

• RQ1 是否可以在不使用平行语料库中词级对齐的情况下，学习到有意义的双语词表示？
• RQ2 基于自编码器的方法相较于依赖词级对齐的最先进方法，性能如何？
• RQ3 基于相关性的正则化项对所学习双语嵌入的质量有何影响？
• RQ4 即使在目标语言中仅有极少的标注数据，该模型是否仍具有良好的泛化能力？
• RQ5 更粗粒度的句子级对齐（如每批50个句子）是否仍能产生高质量的表示？

主要发现

• BAE-cr/corr模型在仅使用1,000个标注样本的EN→DE跨语言文本分类任务中达到了91.8%的准确率，相比之前最先进方法高出超过10个百分点。
• 相关性正则化项显著提升了性能，使BAE-cr/corr在所有设置和数据规模下均成为表现最佳的方法。
• 即使在粗粒度对齐的小批量数据（如每批50个句子）下，BAE-cr/corr模型仍保持强劲性能，在EN→DE任务上达到90.2%的准确率，表明其对对齐粒度具有鲁棒性。
• 该模型优于一个强大的基于机器翻译的基线模型（准确率为68.1%）和多数类基线模型（准确率为46.8%），证明了其有效的跨语言迁移能力。
• 在低数据设置下，该模型表现出强大的泛化能力，例如在仅100个样本时EN→DE任务准确率达到80.2%，表明其学习到的表示质量很高。
• BAE-tr变体在性能上与Klementiev等人（2012）的方法相当，后者是依赖词级对齐的最先进方法，尽管本方法并未依赖词级对齐。