[论文解读] Joint Binary Neural Network for Multi-label Learning with Applications to Emotion Classification

Huihui He, Rui Xia|arXiv (Cornell University)|Feb 3, 2018

Text and Document Classification Technologies参考文献 11被引用 8

一句话总结

本文提出一种用于多标签情感分类的联合二值神经网络（JBNN），通过联合二值交叉熵（JBCE）损失，在单一端到端框架内联合训练多个二值分类器。通过用多个逻辑函数替代Softmax，并引入先验标签关系，JBNN在计算成本显著低于BRNN和TDNN的情况下，实现了当前最优性能。

ABSTRACT

Recently the deep learning techniques have achieved success in multi-label classification due to its automatic representation learning ability and the end-to-end learning framework. Existing deep neural networks in multi-label classification can be divided into two kinds: binary relevance neural network (BRNN) and threshold dependent neural network (TDNN). However, the former needs to train a set of isolate binary networks which ignore dependencies between labels and have heavy computational load, while the latter needs an additional threshold function mechanism to transform the multi-class probabilities to multi-label outputs. In this paper, we propose a joint binary neural network (JBNN), to address these shortcomings. In JBNN, the representation of the text is fed to a set of logistic functions instead of a softmax function, and the multiple binary classifications are carried out synchronously in one neural network framework. Moreover, the relations between labels are captured via training on a joint binary cross entropy (JBCE) loss. To better meet multi-label emotion classification, we further proposed to incorporate the prior label relations into the JBCE loss. The experimental results on the benchmark dataset show that our model performs significantly better than the state-of-the-art multi-label emotion classification methods, in both classification performance and computational efficiency.

研究动机与目标

• 解决现有深度学习多标签学习方法的局限性，特别是BRNN缺乏标签依赖性建模以及TDNN需要外部阈值机制的问题。
• 开发一种统一的神经网络框架，实现多标签分类而无需对二值分类器进行独立训练。
• 通过将标签关系的先验知识整合到损失函数中，提升分类性能。
• 通过跨标签共享表示并最小化模型参数，实现高计算效率。

提出的方法

• 将传统多分类网络中的Softmax输出层替换为多个独立的逻辑函数，为每个标签生成二值概率。
• 在单一神经网络架构中联合训练所有二值分类器，共享词嵌入、双向LSTM层和句子表示。
• 使用联合二值交叉熵（JBCE）损失同时优化所有标签的预测，捕捉标签间的依赖关系。
• 将先验标签关系（例如情感分类体系中的共现模式）融入JBCE损失，以提升泛化能力。
• 在双向LSTM编码表示上应用注意力机制，以聚焦输入文本中与情感相关的关键词汇。
• 通过硬阈值（例如0.5）将最终的多变量伯努利输出转换为多标签预测结果，用于推理。

实验结果

研究问题

• RQ1 统一的神经网络框架是否能在多标签情感分类中超越独立训练二值分类器的方法（如BRNN）？
• RQ2 用多个逻辑函数替代Softmax并使用联合损失，是否能提升性能，优于依赖阈值的多分类网络（如TDNN）？
• RQ3 先验标签关系在多标签情感分类模型中的增强作用有多大？
• RQ4 所提出的JBNN模型在计算效率方面与BRNN和TDNN相比如何？

主要发现

• JBNN在Ren-CECps数据集上达到0.7171 ± 0.0041的平均精确率，所有指标上均显著优于BRNN和TDNN。
• JBNN的参数量减少至0.28M，较BRNN（2.53M）减少8.5倍，较TDNN（2.81M）减少10倍，训练速度更快。
• JBNN每轮训练耗时35秒，较BRNN（265秒）快近8倍，较TDNN（305秒）快近9倍。
• 消融实验表明，双向LSTM对性能贡献最大，其次为注意力机制和先验标签关系的融合。
• 移除注意力机制或先验标签关系均导致性能明显下降，证实其在捕捉上下文与语义依赖关系方面的有效性。
• 所有评估指标的统计检验（双尾t检验）均确认模型优势具有显著性。