[论文解读] Charagram: Embedding Words and Sentences via Character n-grams

John Wieting, Mohit Bansal+2 more|arXiv (Cornell University)|Jul 10, 2016

Topic Modeling参考文献 46被引用 44

一句话总结

Charagram 提出了一种简单而有效的方法，通过字符n-gram学习词向量和句子嵌入：它将序列表示为字符n-gram（n=2,3,4）的计数向量，随后通过一次非线性变换生成低维嵌入。该方法在词和句子相似性任务上优于复杂的字符级RNN和CNN模型，在SimLex-999和多个STS基准上达到最先进性能，同时在词性标注任务中也表现出色，且收敛速度更快。

ABSTRACT

We present Charagram embeddings, a simple approach for learning character-based compositional models to embed textual sequences. A word or sentence is represented using a character n-gram count vector, followed by a single nonlinear transformation to yield a low-dimensional embedding. We use three tasks for evaluation: word similarity, sentence similarity, and part-of-speech tagging. We demonstrate that Charagram embeddings outperform more complex architectures based on character-level recurrent and convolutional neural networks, achieving new state-of-the-art performance on several similarity tasks.

研究动机与目标

• 开发一种简单而有效的基于字符的组合式模型，用于词和句子嵌入，避免使用RNN和CNN等复杂架构。
• 评估仅通过一次非线性变换的字符n-gram计数向量是否能在语义和句法自然语言处理任务上达到或超越深度学习模型的性能。
• 研究子词建模在文本表示中对罕见词和词形变化的益处。
• 为子词感知的文本表示提供一个强大且高效的基线，易于实现和训练。

提出的方法

• 将每个词或句子表示为字符n-gram（n=2,3,4）的计数向量，使用来自PPDB XXL词典部分的固定100,283个n-gram词汇表。
• 应用一次非线性变换（带有可学习权重和偏置）将n-gram计数向量映射到低维嵌入空间（维度为300）。
• 使用基于边距的对比损失进行模型训练，促使同义词对在嵌入空间中比负样本更接近，以余弦相似度作为度量标准。
• 在训练过程中采用小批量负样本采样策略（MAX和MIX），选择困难负样本以提升泛化能力。
• 调整超参数，包括激活函数（tanh、线性）、正则化（λ ∈ {10⁻⁴, 10⁻⁵, 10⁻⁶}）和批量大小（25或50）。
• 将charagram模型与基线模型进行比较：字符级RNN（charLSTM）、字符级CNN（charCNN）以及paragram-phrase嵌入。

实验结果

研究问题

• RQ1 仅通过一次非线性变换的简单字符n-gram计数向量是否能在词和句子相似性任务上优于更复杂的深度学习模型（如RNN和CNN）？
• RQ2 通过字符n-gram进行子词建模在罕见词和词形变化上的性能提升程度如何？
• RQ3 不同大小的n-gram词汇表如何影响在语义和句法任务上的性能表现？
• RQ4 所学习的嵌入是否能同时捕捉语义相似性以及词形和拼写变化？
• RQ5 与charLSTM和charCNN等更复杂架构相比，该模型的训练速度和收敛性如何？

主要发现

• Charagram在SimLex-999词相似性基准上达到最先进性能，优于charLSTM和charCNN模型。
• 在STS 2014和STS 2015句子相似性基准上，charagram分别取得了最高的平均皮尔逊相关系数（74.7和76.1），超过所有基线模型。
• 在词性标注任务中，charagram比charLSTM和charCNN更快达到高准确率，收敛至与更复杂模型相当的性能。
• 该模型在罕见词上表现出显著提升，证明了子词建模在处理未登录词和形态复杂词上的实际优势。
• 更大的字符n-gram词汇表在语义任务（如相似性）上带来的增益高于句法任务（如词性标注），尽管仅使用数千个n-gram也取得了良好性能。
• 最近邻分析证实，charagram嵌入能同时捕捉拼写变异、词形变化和语义相似性，例如由于词源联系，'die'和'mort'在嵌入空间中彼此接近。