[论文解读] Baseline Needs More Love: On Simple Word-Embedding-Based Models and Associated Pooling Mechanisms

Dinghan Shen, Guoyin Wang+7 more|arXiv (Cornell University)|May 24, 2018

Topic Modeling参考文献 34被引用 28

一句话总结

本文提出了一种基于词嵌入的简单模型（SWEMs），采用无参数的池化操作——具体为最大池化和层次池化——应用于预训练的词嵌入，表明这些简单模型在涵盖文档分类、文本匹配和短文本任务的17个NLP数据集上，性能可与复杂的RNN/CNN架构相媲美甚至更优。其核心贡献在于证明了词序和组合复杂性通常并非必需，而简单的池化策略即可生成鲁棒、可解释且高效的表示。

ABSTRACT

Many deep learning architectures have been proposed to model the compositionality in text sequences, requiring a substantial number of parameters and expensive computations. However, there has not been a rigorous evaluation regarding the added value of sophisticated compositional functions. In this paper, we conduct a point-by-point comparative study between Simple Word-Embedding-based Models (SWEMs), consisting of parameter-free pooling operations, relative to word-embedding-based RNN/CNN models. Surprisingly, SWEMs exhibit comparable or even superior performance in the majority of cases considered. Based upon this understanding, we propose two additional pooling strategies over learned word embeddings: (i) a max-pooling operation for improved interpretability; and (ii) a hierarchical pooling operation, which preserves spatial (n-gram) information within text sequences. We present experiments on 17 datasets encompassing three tasks: (i) (long) document classification; (ii) text sequence matching; and (iii) short text tasks, including classification and tagging. The source code and datasets can be obtained from https:// github.com/dinghanshen/SWEM.

研究动机与目标

• 严格评估在文本建模中，复杂的组合函数（如RNN、CNN）是否能为性能带来显著提升，相较无参数池化操作的词嵌入。
• 探究在何种情况下以及为何简单的池化策略（如平均池化或最大池化）足以实现有效的文本表示。
• 提出并验证两种增强型池化机制：最大池化以提升可解释性，层次池化以保留局部n-gram结构。
• 证明简单模型可在显著更低的计算成本下实现与复杂模型相当或更优的性能，尤其在词嵌入冻结时。
• 挑战NLP领域中架构复杂性为高性能所必需的普遍假设，倡导采用更简单的基线模型。

提出的方法

• 提出基于简单词嵌入的模型（SWEMs），直接对学习到的词嵌入应用无参数池化（平均、最大或层次池化），而不使用可训练的组合层。
• 引入SWEM-max：对词嵌入矩阵进行最大池化，以提取显著特征，通过将每个维度与语义一致的词簇关联，提升可解释性。
• 提出SWEM-hier：层次池化，先在滑动的n-gram窗口上应用局部最大池化，再进行全局池化，以保留空间和序列信息。
• 采用子空间训练方法衡量模型复杂度，将可训练参数的优化限制在低维子空间中，以比较参数效率。
• 在SWEM表示上使用线性分类器，独立评估所学句子级嵌入的质量，避免非线性头部的影响。
• 在涵盖文档分类、文本匹配和短文本分类/标注的17个数据集上评估模型，包括中文搜狗新闻的多语言评估。

实验结果

研究问题

• RQ1 在多样化的NLP任务上，仅通过词嵌入上的简单池化操作（无任何可训练组合层）是否能达到或优于RNN和CNN的性能？
• RQ2 词序信息在不同NLP任务中有多重要？简单的池化机制能否有效捕捉这种信息？
• RQ3 与标准平均池化相比，最大池化和层次池化在可解释性和性能方面有何改进？
• RQ4 当词嵌入被冻结时，SWEMs是否能以显著更少的参数和更快的训练速度实现高性能，尤其在参数效率方面？
• RQ5 模型表达能力与计算效率之间是否存在根本性权衡？当性能相当时，是否应在奥卡姆剃刀原则下优先选择简单模型？

主要发现

• SWEMs通过简单池化操作，在17个多样化的NLP数据集（包括文档分类、文本匹配和短文本任务）上实现了与RNN和CNN模型相当或更优的性能。
• 在AG News数据集上，SWEM结合子空间训练在低于CNN的内在维度（d_int）下达到80%的测试准确率，表明在词嵌入冻结时具有更高的参数效率。
• SWEM-max在Yahoo! Ans.上达到73.18%的准确率，在Yelp P.上达到93.66%，使用线性分类器，性能下降极小，证明其表示质量具有鲁棒性。
• 在中文搜狗新闻数据集上，SWEM-hier达到96.2%的准确率，优于标准SWEM-concat（91.3%），并匹配CNN（95.6%）和LSTM（95.2%）的最佳结果。
• 层次池化机制保留了局部n-gram结构，使SWEM在情感分析任务中达到与LSTM和CNN相当的性能，而该任务对词序敏感。
• 当词嵌入被冻结时，SWEM在AG News和Yelp P.的低维子空间中显著优于CNN，证实其在参数效率方面具有优势。