[论文解读] Distilling Word Embeddings: An Encoding Approach

Lili Mou, Ran Jia+4 more|arXiv (Cornell University)|Jun 15, 2015

Topic Modeling参考文献 19被引用 15

一句话总结

本文提出一种监督编码方法，将高维词嵌入中的任务特定知识提炼到低维表示中，无需使用教师网络。通过使用标准交叉熵损失训练编码层，该方法在保持与大尺寸嵌入相当性能的同时，将模型大小和推理时间减少了85–96%，优于直接使用小尺寸嵌入进行训练，尤其在低维情况下表现更优。

ABSTRACT

Distilling knowledge from a well-trained cumbersome network to a small one has recently become a new research topic, as lightweight neural networks with high performance are particularly in need in various resource-restricted systems. This paper addresses the problem of distilling word embeddings for NLP tasks. We propose an encoding approach to distill task-specific knowledge from a set of high-dimensional embeddings, which can reduce model complexity by a large margin as well as retain high accuracy, showing a good compromise between efficiency and performance. Experiments in two tasks reveal the phenomenon that distilling knowledge from cumbersome embeddings is better than directly training neural networks with small embeddings.

研究动机与目标

• 为在资源受限的NLP应用中部署高效神经网络提供解决方案。
• 探究高维词嵌入中的任务特定知识是否可有效迁移到小尺寸嵌入中。
• 开发一种无需预训练教师网络即可压缩词嵌入的方法。
• 证明提炼后的低维嵌入可优于直接训练的小尺寸嵌入。
• 展示嵌入提炼与现有基于softmax匹配的知识蒸馏技术之间的互补性。

提出的方法

• 在高维嵌入与下游网络之间引入一个监督编码层，将其投影到低维空间。
• 通过使用真实标签的标准交叉熵损失训练编码层，实现任务特定知识的迁移。
• 该方法无需教师模型，而是直接学习从大尺寸嵌入到紧凑表示的映射。
• 编码层与模型其余部分联合训练，保持性能的同时降低模型复杂度。
• 该方法应用于两个NLP任务：使用SDP-LSTM进行情感分析和关系分类。
• 通过将提炼后的嵌入与直接使用小尺寸嵌入训练的结果以及基于softmax匹配的蒸馏方法进行比较，对方法进行评估。

实验结果

研究问题

• RQ1 能否有效将高维词嵌入中的任务特定知识提炼到低维表示中？
• RQ2 通过监督编码层提炼嵌入是否优于直接使用小尺寸嵌入进行训练？
• RQ3 随着维度降低，提炼后嵌入的性能如何变化？
• RQ4 所提出的编码方法是否与现有的知识蒸馏技术（如softmax匹配）具有互补性？
• RQ5 在此设置中，缺乏教师模型是否会影响知识迁移的有效性？

主要发现

• 在情感分析中，提炼后的嵌入达到85.6%的F1值，优于小尺寸嵌入（79.0%）和softmax匹配（80.1%），标准差提升1.1。
• 在关系分类中，提炼后的嵌入达到82.1%的F1值，优于小尺寸嵌入（79.0%）和softmax匹配（80.2%），标准差提升0.6。
• 随着维度降低，提炼嵌入与小尺寸嵌入之间的性能差距扩大，尤其在10d和30d时提升最大。
• 参数量减少至原始模型的14–15%，推理时间减少至4%，显著提升了效率。
• 该方法与softmax匹配具有互补性：在关系分类任务中联合使用可使性能提升0.1%。
• 所提方法不依赖教师模型，因此在教师性能较低时比softmax匹配更具鲁棒性。