[论文解读] Evaluation of Unsupervised Compositional Representations

Hanan Aldarmaki, Mona Diab|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 25被引用 3

一句话总结

本文在监督与非监督基准上评估了从二值词袋到基于RNN的架构的无监督组合句子表征，比较了不同模型。在大多数非监督任务中，加权向量平均优于更复杂的模型；而在监督设置中，如inferSent和skip-th等上下文敏感模型由于其结构和句法编码的优势而表现更佳。

ABSTRACT

We evaluated various compositional models, from bag-of-words representations to compositional RNN-based models, on several extrinsic supervised and unsupervised evaluation benchmarks. Our results confirm that weighted vector averaging can outperform context-sensitive models in most benchmarks, but structural features encoded in RNN models can also be useful in certain classification tasks. We analyzed some of the evaluation datasets to identify the aspects of meaning they measure and the characteristics of the various models that explain their performance variance.

研究动机与目标

• 在监督与非监督基准上评估无监督组合模型的性能。
• 识别影响性能差异的关键模型组件，如词加权、结构编码或训练目标。
• 将简单的基线模型（如二值词袋和加权平均）与更复杂的基于RNN的模型进行比较。
• 分析内在向量空间结构，以理解模型编码的语义与结构特征。

提出的方法

• 评估了一系列模型：二值词袋、使用tf-idf和SIF加权的分布式词嵌入，以及上下文敏感模型，包括doc2vec、GRAN、skip-thought和inferSent。
• 对平均嵌入应用SIF（简单输入特征）加权，以减少低信息量词汇的影响。
• 使用t-SNE可视化和k-means聚类分析向量空间结构及按语义类型划分的聚类凝聚度。
• 在TREC上进行主题分类，在STS上进行语义相似性评估，涵盖监督与非监督设置。
• 使用STS的皮尔逊相关系数和主题分类的准确率评估性能。
• 通过最近邻分析和聚类纯度评估语义一致性与模型特异性偏差。

实验结果

研究问题

• RQ1 哪种组合模型架构在监督与非监督评估基准上均表现最佳？
• RQ2 不同的加权方案（如tf-idf、SIF）在非监督相似性任务中如何影响句子表征的质量？
• RQ3 与简单平均相比，RNN中编码的结构特征在分类任务中能多大程度上提升性能？
• RQ4 向量空间的哪些内在属性（如按语义类型划分的聚类凝聚度）可解释不同模型间的性能差异？
• RQ5 skip-thought和inferSent在语义与句法结构编码方面有何不同？

主要发现

• 使用SIF或tf-idf加权的加权向量平均在非监督语义文本相似性（STS）任务中优于所有其他模型。
• 在监督主题分类任务中，二值词袋基线搭配NBSVM的准确率显著高于所有组合模型。
• skip-thought向量在监督STS中表现出高聚类纯度和强性能，但在非监督设置中表现较差，表明其对结构特征有强编码能力。
• inferSent向量在非监督STS中的表现与加权平均相当，并在监督任务中始终表现出高准确率，表明其对语义与句法特征实现了平衡编码。
• doc2vec和GRAN表征在定性上与SIF加权平均相似，能根据主题和语义相似性凝聚句子。
• t-SNE可视化显示，skip-th向量根据句子结构（如'What country...'）形成更大、更一致的聚类，而二值向量则根据词重叠而非语义类型聚类。