[论文解读] Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors

В. К. Железняк, Aleksandar Savkov+4 more|arXiv (Cornell University)|Apr 30, 2019

Topic Modeling被引用 24

一句话总结

本文提出 DynaMax，一种新颖的无监督、非参数化相似度度量方法，利用模糊集理论动态选择并最大池化句子对的相关词向量特征。该方法在所有 STS 基准测试中均优于使用余弦相似度的平均词向量方法，且性能与针对余弦相似度进行优化的监督方法相当，同时引入模糊 Jaccard 指数作为最大池化向量的更合适度量指标，优于余弦相似度。

ABSTRACT

Recent literature suggests that averaged word vectors followed by simple post-processing outperform many deep learning methods on semantic textual similarity tasks. Furthermore, when averaged word vectors are trained supervised on large corpora of paraphrases, they achieve state-of-the-art results on standard STS benchmarks. Inspired by these insights, we push the limits of word embeddings even further. We propose a novel fuzzy bag-of-words (FBoW) representation for text that contains all the words in the vocabulary simultaneously but with different degrees of membership, which are derived from similarities between word vectors. We show that max-pooled word vectors are only a special case of fuzzy BoW and should be compared via fuzzy Jaccard index rather than cosine similarity. Finally, we propose DynaMax, a completely unsupervised and non-parametric similarity measure that dynamically extracts and max-pools good features depending on the sentence pair. This method is both efficient and easy to implement, yet outperforms current baselines on STS tasks by a large margin and is even competitive with supervised word vectors trained to directly optimise cosine similarity.

研究动机与目标

• 通过超越平均词向量并探索最大池化作为更优替代方案，提升语义文本相似度（STS）性能。
• 利用模糊集理论，将最大池化词向量形式化为模糊词袋（FBoW）表示的特例。
• 提出一种新相似度度量方法 DynaMax，该方法无监督地动态提取并最大池化每对句子的高质量特征。
• 挑战将余弦相似度用于比较最大池化向量的做法，主张使用模糊 Jaccard 指数作为更合适的度量。
• 通过 BCa 自助法置信区间进行严格的统计评估，以验证在 STS 基准测试中性能差异的显著性。

提出的方法

• 提出一种模糊词袋（FBoW）表示方法，其中词汇表中每个词的成员度由其与句子词向量的相似度决定。
• 证明最大池化词向量是 FBoW 的特例，其中最相似的词成员度为 1，其余为 0。
• 提出 DynaMax，一种无监督、非参数化方法，利用模糊集运算动态识别并最大池化每对句子的最相关特征。
• 将模糊 Jaccard 指数作为 FBoW 表示之间相似度的主要度量，主张其比余弦相似度更适合用于最大池化向量的比较。
• 在最大池化前对词向量应用 SIF（平滑逆频率）加权以提升性能。
• 采用偏差校正与加速（BCa）自助法置信区间，对性能差异进行严格、非参数化的显著性检验。

实验结果

研究问题

• RQ1 当最大池化词向量被视为模糊词袋的特例时，是否能在语义文本相似度任务中超越平均词向量？
• RQ2 模糊 Jaccard 指数是否比余弦相似度更适合用于比较最大池化词向量？
• RQ3 完全无监督、非参数化的方法（如 DynaMax）是否能达到与直接针对句对余弦相似度进行优化的监督方法相当的性能？
• RQ4 所提出的方法在与在大规模 paraphrase 数据集上训练的最先进监督词向量相比时，是否仍具竞争力？
• RQ5 严格的统计显著性检验对 STS 基准测试结果评估有何影响？其相比文献中常见做法有何改进？

主要发现

• 在使用无监督词向量时，DynaMax 在所有 STS 基准任务中均优于使用余弦相似度的平均词向量方法，在 STS15 上实现了 73.1 的平均皮尔逊相关系数。
• 使用 PSL 词向量时，DynaMax-SIF 在 STS16 上实现了 73.3 的平均相关系数，比 Arora 等人（2017）提出的 avg-SIF+PCA 方法高出 1.4 分。
• 尽管 DynaMax 完全无监督且与余弦相似度优化目标无关，其性能仍与针对余弦相似度进行优化的监督 ParaNMT 嵌入方法相当。
• 研究结果表明，模糊 Jaccard 指数比余弦相似度更适合用于比较最大池化向量，因为它更准确地捕捉了表示的模糊集特性。
• 研究发现，大多数先前的 STS 文献使用了不恰当或未明确说明的参数检验方法；DynaMax 使用的 BCa 自助法置信区间提供了更可靠的显著性分析。
• 附录中的消融研究证实，DynaMax 的每个组件均对整体性能有显著贡献。