[论文解读] Label Embedding Network: Learning Label Representation for Soft Training of Deep Networks

Xu Sun, Bingzhen Wei+2 more|arXiv (Cornell University)|Oct 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 22被引用 31

一句话总结

本文提出标签嵌入网络（Label Embedding Network），一种通过反向传播在深度网络训练过程中学习连续且可解释的标签表征的方法，通过用软性、分布式表征替代独热编码标签，提升模型的准确率、收敛速度和鲁棒性。该方法在图像和文本任务中实现了最先进或具有竞争力的结果，通过实现相似标签之间的语义交互。

ABSTRACT

We propose a method, called Label Embedding Network, which can learn label representation (label embedding) during the training process of deep networks. With the proposed method, the label embedding is adaptively and automatically learned through back propagation. The original one-hot represented loss function is converted into a new loss function with soft distributions, such that the originally unrelated labels have continuous interactions with each other during the training process. As a result, the trained model can achieve substantially higher accuracy and with faster convergence speed. Experimental results based on competitive tasks demonstrate the effectiveness of the proposed method, and the learned label embedding is reasonable and interpretable. The proposed method achieves comparable or even better results than the state-of-the-art systems. The source code is available at \url{https://github.com/lancopku/LabelEmb}.

研究动机与目标

• 解决深度网络中独热标签编码的局限性，例如无法建模标签相关性以及易受过拟合影响。
• 通过反向传播实现标签嵌入的自动、端到端学习。
• 通过学习压缩的标签嵌入，降低大规模分类任务中的内存开销。
• 生成可解释、语义有意义的标签表征，提升模型泛化能力。
• 提供一种通用方法，适用于CNN、ResNet和序列到序列模型等多种架构。

提出的方法

• 引入标签嵌入网络，在训练过程中学习每个类别标签的密集连续表征。
• 将标准的独热交叉熵损失替换为基于学习到的标签嵌入的软性损失函数，实现标签之间的连续交互。
• 采用重参数化技术学习压缩的标签嵌入，显著降低大规模任务中的内存开销。
• 通过反向传播与网络权重联合优化标签嵌入，支持端到端训练。
• 将软标签损失应用于图像分类（CIFAR、MNIST）和序列到序列任务（LCSTS、IWSLT2015）。
• 采用softmax归一化的输出层，将最终logits解释为在学习到的标签嵌入上的概率分布。

实验结果

研究问题

• RQ1 在训练过程中学习连续的标签表征是否能超越独热编码，提升深度网络性能？
• RQ2 学习到的标签嵌入如何影响图像和文本任务中模型的收敛速度与泛化能力？
• RQ3 在大规模词汇量任务中，压缩的标签嵌入能否在降低内存开销的同时保持性能？
• RQ4 学习到的标签嵌入在不同领域中是否具有语义意义且可解释？
• RQ5 该方法在基准任务上是否优于或匹配最先进模型？

主要发现

• 在LCSTS文本摘要任务中，该方法实现了ROUGE-1、ROUGE-2和ROUGE-L得分分别为31.7、19.1和29.1，分别优于基线结果1.6、1.2和1.9分。
• 在IWSLT2015机器翻译任务中，该方法实现了26.8的BLEU得分，超过此前最佳结果26.1，创下新的最先进水平。
• 学习到的标签嵌入捕捉到了有意义的语义相似性，例如'đỏ'（红色）与'xanh'（蓝色）和'de'（黑色）等其他颜色最为相似。
• 与标准CNN、ResNet和序列到序列基线相比，该方法在图像（CIFAR-100、CIFAR-10、MNIST）和自然语言处理任务（LCSTS、IWSLT2015）中均表现出更优性能。
• 压缩标签嵌入变体在显著降低内存开销的同时保持了高性能，证明其在大规模分类任务中的有效性。
• 标签嵌入具有可解释性且可复用，可加速新模型的训练并提升准确率。