[论文解读] Evaluation of Sentence Representations in Polish

Sławomir Dadas, Michał Perełkiewicz+1 more|arXiv (Cornell University)|Oct 25, 2019

Topic Modeling参考文献 27被引用 7

一句话总结

本文在五个下游任务上评估了八种波兰语句子表征方法，包括词嵌入、上下文嵌入和多语言编码器。研究引入了两个新数据集——8TAGS（8万条句子）和波兰语SICK翻译版本，并发现高维词嵌入配合最大池化方法在性能上优于许多最先进模型，挑战了波兰语NLP中复杂架构的必要性。

ABSTRACT

Methods for learning sentence representations have been actively developed in recent years. However, the lack of pre-trained models and datasets annotated at the sentence level has been a problem for low-resource languages such as Polish which led to less interest in applying these methods to language-specific tasks. In this study, we introduce two new Polish datasets for evaluating sentence embeddings and provide a comprehensive evaluation of eight sentence representation methods including Polish and multilingual models. We consider classic word embedding models, recently developed contextual embeddings and multilingual sentence encoders, showing strengths and weaknesses of specific approaches. We also examine different methods of aggregating word vectors into a single sentence vector.

研究动机与目标

• 解决波兰语等低资源语言缺乏预训练模型和句子级别数据集的问题。
• 为波兰语NLP任务提供针对句子表征方法的全面评估。
• 引入两个新数据集，以支持波兰语句子级表征学习的研究。
• 在多个下游任务上比较静态词嵌入、上下文嵌入和多语言句子编码器。
• 研究将词向量转换为句子表征的聚合技术在波兰语中的应用。

提出的方法

• 引入了两个新数据集：8TAGS（涵盖8个主题的8万条句子）和人工翻译的波兰语SICK数据集版本（1万对句子）。
• 评估了八种句子表征方法：静态词嵌入（Word2Vec、GloVe、FastText）、上下文嵌入（ELMo、BERT）以及多语言编码器（USE、LASER）。
• 应用了三种聚合技术：简单平均（基线）、平滑逆频率（SIF）以及均值和最大池化词向量的拼接。
• 使用固定维度的词向量（100–800维），并在不同维度下评估性能，以评估可扩展性和表征能力。
• 在五个任务上评估模型：主题分类（8TAGS）、情感分析（两个领域）、文本蕴涵（SICK-E）以及语义相关性（SICK-R）。
• 采用标准指标：分类任务使用准确率，情感分析使用F1，相关性和蕴涵任务使用皮尔逊相关系数。

实验结果

研究问题

• RQ1 不同句子表征方法在波兰语NLP任务上的表现与英语基准相比如何？
• RQ2 SIF和最大池化等聚合技术在波兰语中对从词嵌入衍生的句子表征改善程度如何？
• RQ3 高维静态词嵌入配合简单池化是否能在波兰语中超越复杂的上下文和多语言句子编码器？
• RQ4 预训练的多语言模型（如USE、LASER）在波兰语特定任务上的表现是否优于语言特定模型？
• RQ5 在使用静态词嵌入时，向量维度对波兰语句子表征质量的影响如何？

主要发现

• 与简单平均相比，最大池化（拼接均值和最大池化词向量）在SICK-E和SICK-R任务上将性能提升了3–5%。
• 高维词嵌入（800维）配合最大池化在SICK-E和SICK-R任务上的表现与多语言句子编码器（如USE、LASER）相差不到1%。
• SIF在不同任务上未表现出一致的性能提升，表明其对波兰语句子表征的收益有限。
• 表现最佳的静态词嵌入模型（FastText，800维，配合最大池化）在WCCRS Hotels和8TAGS任务上优于USE和LASER。
• 提升向量维度带来的性能增益显著，800维模型的性能已接近上下文模型（如ELMo）。
• 本研究表明，简单且高维的词嵌入配合最大池化可作为波兰语句子表征的强大基线，其在某些任务上优于复杂的多语言模型。