[论文解读] Comparative study of LSA vs Word2vec embeddings in small corpora: a case study in dreams database

Edgar Altszyler, Mariano Sigman+2 more|El Servicio de Difusión de la Creación Intelectual (National University of La Plata)|Oct 5, 2016

Natural Language Processing Techniques被引用 61

一句话总结

本研究比较了潜在语义分析（LSA）与Skip-gram Word2vec在小文本语料中的表现，以梦境报告为案例研究。尽管Word2vec在大规模数据集中占主导地位，LSA在捕捉语义关联方面表现更优——尤其在低频词和小规模梦境系列中，显示出在检测特定语境下词语关系（如追逐/逃跑情境中的'run'）方面的优越性能。

ABSTRACT

Word embeddings have been extensively studied in large text datasets. However, only a few studies analyze semantic representations of small corpora, particularly relevant in single-person text production studies. In the present paper, we compare Skip-gram and LSA capabilities in this scenario, and we test both techniques to extract relevant semantic patterns in single-series dreams reports. LSA showed better performance than Skip-gram in small size training corpus in two semantic tests. As a study case, we show that LSA can capture relevant words associations in dream reports series, even in cases of small number of dreams or low-frequency words. We propose that LSA can be used to explore words associations in dreams reports, which could bring new insight into this classic research area of psychology

研究动机与目标

• 评估LSA与Skip-gram Word2vec在小文本语料中的表现，特别是在心理文本分析中的应用。
• 探究基于预测的模型（如Skip-gram）是否因参数量过高而在小语料中显著退化。
• 测试利用词嵌入检测有限数据下个体梦境系列中语义模式的可行性。
• 比较模型在识别特定语境词语关联（如逃跑/追逐情境中的'run'）方面的鲁棒性。
• 评估LSA在低数据环境下作为神经网络嵌入的可行替代方案的适用性。

提出的方法

• 从梦境报告构建词-文档共现矩阵，并应用截断奇异值分解（SVD）生成LSA嵌入。
• 使用基于连续窗口的预测方法，在同一梦境语料上训练Skip-gram模型，以学习词向量表示。
• 通过两种模型中词向量之间的余弦相似度评估语义相似性。
• 使用语料的嵌套子样本对预定义类别（如饮料、工具、衣物）进行语义分类测试。
• 设计了一项情境敏感性测试，通过排名距离和与逃跑/追逐相关用法的比例，评估模型在检测梦境中'run'与逃跑/追逐情境关联时的表现。
• 应用对数线性回归，测量模型预测对逃跑/追逐比例的敏感性，比较预测值与实际值之间的斜率和相关性。

实验结果

研究问题

• RQ1 在评估语义类别表征时，LSA是否在小文本语料中优于Skip-gram Word2vec？
• RQ2 LSA与Skip-gram在检测特定语境词语关联（如逃跑/追逐情境中的'run'）方面表现如何？
• RQ3 模型表现差异在多大程度上取决于语料规模和词频？
• RQ4 LSA能否在低频词或短梦境系列中可靠地捕捉目标词的语义邻域？
• RQ5 与基于计数的模型（如LSA）相比，Skip-gram的基于预测的性质是否在小数据环境中构成劣势？

主要发现

• 在小规模语料（约100万词）上训练时，LSA在语义分类任务中优于Skip-gram；而在中等规模语料（约1000万词）中，Word2vec则超过LSA。
• 在逃跑/追逐情境检测任务中，LSA的对数线性斜率为-2.10，显著陡于Skip-gram的-1.11，表明其对语境更敏感。
• LSA与真实值的相关系数为-0.57（p < 0.0001），而Skip-gram为-0.42（p = 0.007），证实LSA与实际逃跑/追逐使用情况的对齐程度更强。
• Kolmogorov-Smirnov检验显示，LSA与Skip-gram的斜率分布存在显著差异（p < 3×10⁻⁴），结果更有利于LSA。
• LSA成功识别出'run'在高逃跑比例系列中的语境相关邻近词（如'chased'、'hiding'、'chasing'），而Skip-gram未能检测到此类模式。
• 在无逃跑/追逐内容的对照系列中，两种模型均正确避免将'run'与逃跑相关术语关联，验证了其特异性。