[论文解读] Dirichlet-Smoothed Word Embeddings for Low-Resource Settings

Jakob Jungmaier, Nora Kassner+1 more|arXiv (Cornell University)|Jun 22, 2020

Topic Modeling参考文献 7被引用 5

一句话总结

本文提出了一种狄利克雷平滑的PPMI词嵌入方法，以缓解标准PPMI在低资源设置下对罕见词的偏差。通过在截断SVD之前对共现矩阵应用狄利克雷平滑，该方法在小型语料库上实现了更优的性能，并在马耳他语和卢森堡语等低资源语言上取得了具有竞争力的结果，优于word2vec和PU-Learning在低数据场景下的表现。

ABSTRACT

Nowadays, classical count-based word embeddings using positive pointwise mutual information (PPMI) weighted co-occurrence matrices have been widely superseded by machine-learning-based methods like word2vec and GloVe. But these methods are usually applied using very large amounts of text data. In many cases, however, there is not much text data available, for example for specific domains or low-resource languages. This paper revisits PPMI by adding Dirichlet smoothing to correct its bias towards rare words. We evaluate on standard word similarity data sets and compare to word2vec and the recent state of the art for low-resource settings: Positive and Unlabeled (PU) Learning for word embeddings. The proposed method outperforms PU-Learning for low-resource settings and obtains competitive results for Maltese and Luxembourgish.

研究动机与目标

• 解决PPMI在低资源自然语言处理设置下对罕见词的已知偏差问题。
• 评估经典基于计数的词嵌入方法是否能在低数据场景下超越现代机器学习方法（如word2vec和GloVe）。
• 探究狄利克雷平滑在改善基于PPMI的罕见词和低频词嵌入方面的有效性。
• 通过维基百科数据包，展示该方法在低资源语言（如马耳他语和卢森堡语）上的实际适用性。
• 提供公开可获取的实现代码，以支持可复现性及进一步研究。

提出的方法

• 在计算PPMI之前，对共现矩阵应用狄利克雷平滑，使用平滑参数λ控制平滑程度。
• 利用平滑后的共现概率计算修正的PMI分数，以减少对罕见词共现的过度估计。
• 对得到的平滑矩阵进行截断奇异值分解（SVD），以获得稠密词嵌入。
• 通过在保留的相似性任务上评估性能，按语料规模选择最优λ值，且λ值基于更大的上下文窗口得出。
• 该方法采用对称窗口策略收集词共现信息，并使用最大似然估计进行概率估计。
• 对于低资源语言，λ值从相似规模的单语语料库（如enwik9）迁移而来，以确保鲁棒性。

实验结果

研究问题

• RQ1 狄利克雷平滑的PPMI嵌入是否能在低资源设置下超越PU-Learning和word2vec等最先进方法？
• RQ2 狄利克雷平滑如何缓解PPMI在小型语料库中对罕见词的偏差？
• RQ3 所提出方法在罕见词相似性任务上的表现是否具有竞争力，相比现有方法？
• RQ4 该方法在低资源语言和濒危语言（如马耳他语和卢森堡语）上的泛化能力如何？
• RQ5 性能对平滑参数λ的选择有多敏感？如何实现高效优化？

主要发现

• 在enwik9的前100万和200万个词上，SVD-PPMI结合狄利克雷平滑（SVD-PPMI λ）优于word2vec SGNS和PU-Learning，证明了其在低数据场景下的优越性能。
• 该方法在RW（罕见词）相似性数据集上表现最佳，表明其在罕见词表示方面具有显著有效性。
• 在马耳他语和卢森堡语上，该方法取得了具有竞争力的结果，优于PU-Learning，显示出在低资源语言建模中的潜力。
• 性能随语料规模增大而提升，但SVD-PPMI λ的优势在小型语料库中最为显著，此时数据稀疏性问题最为严重。
• 最优λ值随语料规模增大而增加，且通过将enwik9较大片段的λ值迁移至低资源语言模型，该方法表现出良好的鲁棒性。
• 作者公开发布了其代码，支持可复现性，并可扩展至其他低资源场景。